因为生活琐事而不能释怀

我是一个有着一个三口之家的三十多岁男人，工作在一家电商仓库，今天要说的事情就是因为我的工作中人际关系而产生的烦恼。
事情是这样的，最近一次因为晚上要加班，然后公司财务就过来问我们同事几个晚上点外卖的事情，然后大家开始用财务的手机轮流点，因为大概有六七个人，所以要轮流点，然后手机轮到我这里点的时候，第一个点的同事小李用他家乡话说了一句你赶紧的别他妈的一个外卖点了一个小时，等送过来都下班了你吃个屎，我当时有点迟钝，想和小李理论你说谁的，但是又犹豫觉得他不应该会这样和我说话，因为他平时对我还算客气，而且当时因为我旁边还有一个小刘（平时和小李喜欢开玩笑），我下意识觉得会不会在说他，然后事情过去了以后我就陷入了纠结当中，纠结小李万一要当时就是说我，我当时没有回击他，弄的岂不是很没面子当时又有那么多同事在，别的同事会不会觉得我懦弱之类的想法。
最后我实在没忍住心中的纠结与焦虑，我过了一会找了个机会问小李你在点饭的时候我听你讲什么吃屎之类的话，是在骂我？我的表情当时也比较正式严肃（这是我第一次这么严肃和他说话），小李先是愣了一下，然后说到我不可能说出那样的话，你一定是听错了，然后我开始提醒他当时的情景，然后他他说那可能是我说小刘的他当时在你旁边，我说当时我在拿手机点饭，小刘并没开始，他说到我可能没注意，我以为是小刘，听他这样解释，我也就没有和他继续争辩下去，然后我和他说，我这个人平时不爱开玩笑，也不太喜欢开玩笑，我的话意他应该听出了意思，然后他说我说话也从来不会针对谁，然后就这样我们彼此也就没有就这个问题再说了，不一会外卖来了，他让我先去吃饭，然后我就走开了。
但是这件事第二天我回想起来感觉还是不舒服，想把这件事说给我老婆听，但是又觉得自己都那么大了，这也说那也说，时间久了老婆都会觉得我不像大男人，但是不说自己老是往这件事上想，总觉得那句话就是对我来的，总是有一种后悔当时自己没有第一时间去和小李反驳。