怀孕期间老公出轨，无法原谅他怕影响宝宝

跟老公結婚四年，有个宝宝，恋爱结婚，当初家人不同意，绝食五天五夜换来的婚姻，怀孕四个月，老公跟小姑娘谈恋爱了，我也闹了，宝宝已经成型，模模糊糊这事就过去了，不过心里还是隔应，两年没让他碰我一下，什么都不管他，他家人有点察觉出来，慢慢对我烦了，他很向着他家人，对他没感情了，但是怕影响宝宝，怎么办