被人贴负面标签，伤的很重

以前脾气好，但是总被欺负！毕业后为了别人怕我不敢惹我，冒犯我，所以骂骂咧咧，看到不顺眼的人事，就骂训！也增强霸气勇气！确实没人敢惹我，享受别人怕我！有个同事和我一起开店，他事情做不好，我经常训他！这个人又意图勾引朋友的女朋友，我认为他人品差，把他划为恶棍一类，动不动训他！
他有一次，故意请我和我媳妇吃饭，开始揭我短，说我脾气大，会打媳妇！又说我混日子！
可是事实是，我媳妇非常可爱，对她特别温柔，心都是化的，我看他哪哪都顺眼，一言一行都想笑，对她发脾气都很少，更不要说我想打她了！因为特别喜欢我媳妇，所以不太加班，更多陪伴媳妇，上班正常工作，下班陪媳妇，在家学学习！
可是我怎么就成了脾气大，会打媳妇！混日子了呢！他为什么想不到我的事实情况呢？我以前脾气好，也认为脾气大的人会打媳妇！我自己出现了矛盾
而且我跟他解释说我很疼我媳妇，他一惊，眼珠一转，又说，那你10年后也会打的！我直接被说懵了，无从解释！
我头也很乱，很迷惑，那个人说的对不对，我也分不清！请老师帮我捋一捋