因为流言蜚语觉得很尴尬怎么办？

我和他是同事，我们是两个家庭的人。之前我们只是玩的很要好的同事而已。就是平时有说有笑突然对我一声不吭，很冷淡的，后来经过我打破砂锅问到底，才知道他是吃醋我和所有同事关系都这么好，那天我们聊了很多很多，我们捅破了那张同事纸，发展成为恋人。一周以后我们发生了肌肤之亲。
至今我们在一起快三个月了，但是我们也会偶尔吵架，因为他经常吃醋我和其他同事有说有笑的。他对我真的很好，上班的时候我们配合的很好，他也处处照顾我。部门其他同事看到经常开玩笑说如果不是知道我们已婚了，我和他很适合做恋人。最近突然有其他部门流言蜚语说我们，我不知所措了。他也好像害怕那些流言蜚语了，他对我开始不冷不淡了。其实我们刚刚开始确认我们就相约好不破坏彼此的家庭只是普通恋人而已，但是最近因为那些流言蜚语，我们之间疏远了，我却动情了。明明说好远离他，不再联系他，当他主动找我时，我又与他在一起。有时候我有点想放弃工作远离他，可是我舍不得我的工作，因为那些流言蜚语我们最近上班见面真的很尴尬。