这段感情该何去何从？到底该怎么办？很难过

男友31离婚有孩，我28未婚，认识八个月，异地。当他坦白这个情况后第一时间确认了离婚证，离婚日期去年四月。
但是当时处在没离家的状态，原因说因女方外地人，离婚后孩归女方，搬走了却由于他父母想念孩子并且小城市成长环境不好，所以要求她搬回。他说那时没想着会再找新感情所以维持那个状态，想等孩子大一些。
我要求想在一起至少得和过去了断干净，搬出来结束这种状态，且得对日后可能面临的问题有个规划。他说会现在处理。我要求必须当月解决。他先是和前妻谈了一次，希望搬出来但她带孩子别回小城市去。却吵起来了没结果，告诉我暂时搬不出来。我告知他那就算了。他又谈了一次，提出把房子给女方。女方说可以，就是希望等到孩子明年上幼儿园时再彻底离开。他觉得也合理就同意了。告诉我这个结果时我觉得等到上幼儿园接受不了。他说那他现在就搬。于是一周后搬了，却不是所有东西。我特别生气把微信都删除了想不再联系 。他就找我说希望见一面也解释。后来我们和好了，他也把所有东西都搬出来了。
后来发生一次矛盾是因一天晚上他说去洗澡 我找他发定位结果却是在家。我觉得怎么能还回去且瞒着。他一直给我说是怕我多想，因为洗澡回来晚没开车正好想看孩子就让朋友送来这边了，懒了一下就没走。让我能不能不要不理他。我很伤心但缓了两天以后决定和他谈谈。
我说自己就是想简简单单的在一起不被过去的事情影响。他说他比我更希望。我问他到底有没有办法解决现在这种状况以后别再发生了。他说对于他来说就是在我和孩子之间取舍，他会想好给我个结果。
后来他说不想让我再难过了，让我找个更好的人。他哭着说有一天孩子早上给他发视频哭着问他爸爸怎么走了，所以他说以后看孩子还是会有住的情况还会发生，而且和我在一起后一周见一次基本等于不见了。他自己是单亲不想让孩子像他小时候一样痛苦，想慢慢过渡这样怕以后这样类似的问题还是会让我难过。我也哭了，和他说我都没有放弃他怎么能先放弃了，说他回家住还有他前妻我怎么能不担心。他说那以后回家住带完孩子玩就一直给我发信息或者打电话，一直到凌晨可不可以？
最后我告诉他照顾好孩子吧，我走了，我会重新开始。他说不要。我说我尽力了，也没办法，不能一直妥协，虽然能接受他的情况但不能以后面对孩子一直退让。他一直叹气，说不知道怎么做我才能幸福，说不想让我再退了。他说让我等他来找我，他想逼自己一下。