放不下前任的已婚有孩子的男人

结婚之前谈过一个对象，后来由于种种原因没能走到一起。我等了她一年在她呆的城市，一年后我妈告诉我她嫁人了。
后来在亲戚的介绍下认识了现在的爱人，从我俩认识到结婚一年时间，我好像从来没对她讲过甜言蜜语也从来没许下什么承诺，我知道自己心里有另外一个人，我也从来没对任何讲过，包括我的父母。
婚后第二年有了孩子，我还记得孩子出生的那天夜里我一夜没睡，不是高兴也不是兴奋，我只是担心她娘家出问题。
到十月一是两周年结婚日，婚姻这两年里我几乎每天都再期盼着见前任一次，直到有一次联系上，我讲了好多好多，眼泪也流了好多，后来感觉自己又像当初分手一样神经病一般的心涩，主动删了她的一切。
我是真害怕我的爱人知道这些，我害怕失去孩子，害怕失去她娘俩。
可我又放不下回忆，脑子里不知道什么时候就开始想起前任，又是期盼又是要见的执念。
四年了我想放下，我想给我的爱人更好的生活，对得起孩子对得起她。
结婚两年里晚上恐惧梦里喊前任名字，恐惧一个人晚上呆着。
我要怎么做才能从这神经病一样的情绪里走出来？