喜欢的男同事从别的同事口中打听到我的坏话

我有意思的男同事可能打听了我的情况，然后听到我部门同事对我工作能力评价不太好，回头把这话转达给我了，这周打了两次电话，说要我好好用心工作，我却背包袱了，因为感觉把自己缺陷展示给他看了，会想他是不是瞧不起我，会不安，刚才打电话给他，其实我不应该跟他聊到工作的，可我自然聊起来了，也只是提及他要给我的资料，然后他发现我都记不住，说我干什么去了，还高材生，怎么回事，一天加班都在干嘛。我不怨他说我，只是越发在他面前自卑，抬不起头。他问我哪些供应商提供了发票，因为好几次供应商打电话给我的时候，我在外面跑，付款申请也不是我做的，同事也没有提前跟我通气，所以我真的记不住了，就感觉别人一上来就打电话说要给我发票和收据，我啥也不知道。今天吃饭时，有个领导提到我家乡的特产，是一个茶叶，问我是绿茶还是黄茶，却把茶叶的名字喊成了另外一个，我没发现，回答说是绿茶，另一个同事发现提醒说说错了，然后领导说家长特产怎么记不住，我是不是很不用心呢？我是不是应该好好反省呢？我有些难过。我该怎么克服自己现在喜欢的男同事面前抬不起头背包袱的心理障碍呢？