老公对我的过去耿耿于怀，我要不要挽回？

跟老公是13年认识的，14年结婚的，在他之前，我谈了一个4年的男朋友，做过两次人流，一直以为会跟前男友结婚，可是爸爸不同意，最后分手了，也还因为，4年，他两次劈腿，但我都没离开他，跟现在老公恋爱的时候，前男友一直联系我，我为了不让他伤心，发了最后一条消息，里面喊了他老公，最后被我现在老公看见了，人流的事，我也瞒了现在老公，最后也被他发现了，以为我们会分手，可后面他说他接受，就这样，我们结婚了，现在有个三岁的女儿，但不管是恋爱时候，还是婚后，老公还是会把我以前的事拿出来说，还会言语伤害，说我不是他老婆，他也不是我老公，说我迟早会走，我们只是搭伙过日子，说他对我没得义务，叫我走的时候只要把女儿留给他就行，其他条件我开，经常跟我冷战，每次都是我去和好，我一直都以为他只是说说而已，他心里爱我才会在乎那些，以前发现过他跟其他女的聊，最近又发现了，感觉他对那个女的动心了，虽然他说没联系了，但他还是会翻旧账，说那些话，我现在已经搞不清他说的那些话是真心话，还是气话了，我觉得他还会去找其他女的，也许有一天他就会带着个女的回来，想离婚，但是孩子怎么办，不想伤害孩子，如果他说的气话又怎么办，长期这样下去，说那些话，翻那些事，我受不了，让我感觉自己好像真的是一个罪人。
不知道现在还要不要挽回，能挽回吗？真离了，怎么办？