老公想要三胎，我不想要，怎么办

我和老公认识五年，结婚六年，有一个五岁的儿子和两岁的女儿，老公比我大四岁。我老公年收入较高，我待业在家，结婚这五年里，我和他感情并不顺利，他出轨两次，期间我想过离婚，但是权衡利弊后没有分开。

目前我老公每个月大概会给我1W左右的零花钱，家里也有保姆料理家事。今年元旦，我老公和我商量生三胎，并表示他理想家庭是五个孩子。

说实话，自从女儿出生之后，他基本一直是出轨状态，虽然他每周也会抽出时间陪我和孩子，但是心里的感觉也早变了。我和老公是大学同学，也是彼此的初恋，我觉得深厚的感情在他这里早已一文不值。

而且目前我不想再怀孕了，我认为两个孩子很好，可是我又担心他会以此为借口和外边的女人生子，我很纠结，不知道要怎么办