为什么对他狠不下心，绝不了情？

我离婚快两年了，当时离婚是因为感情不合，加之现任男友重新联络上让我更加动摇，直白的说当时不排除离了婚就跟他在一起的想法，因为我的婚姻很苦，我和我前夫也并不相爱。而那个时候我认为这才是真爱，因为初恋加前任兜兜转转我们又能在一起了，所以我不顾一切，认真的爱着，相信他说的每一句话。后来我发现他讨厌我女儿，除了开口就骂还会动手，面对一岁多的女儿我本已经很愧疚，他这样我愈加心疼并自责不堪，常常抑制不住情绪当他的面就难受的哭起来，告诉他以后别这样，要是不喜欢我可以离开他，但我的孩子我必须带在身边。可是最后他还是一样，我只好想办法尽量让他看不见我女儿，后来我们就开始经常吵架了，每每我都会被他激怒的控制不住情绪发火，然后他都会说我性格不好脾气差，其实他的作息习惯不好，每天都是凌晨三四点才睡觉，第二天中午一两点起床，我都是要晚上等他一起睡，否则也要被他吵醒，早上七八点起床带我女儿，所以长期下来我整个人的精神状态非常差，我也跟他谈过要改正，他总是答应却还是不会实际去做。就这样到了春节我发现他出轨了，跟一个他的高中同学，那个女的有钱也不算特别漂亮，我有预感于是没有提前告诉他就坐火车来到他的城市，本来说好过完年我就来到这个城市陪他，我们已经定了新房都装修好了，差不多也就结婚了。这个时候我已经辞去原本月薪不错的工作，还有离开了喜爱的行业，把女儿也交给我母亲照管，新的工作也在他的城市里找好了，结果还是纸包住火他自己也承认了，我很激动，很气愤，当然也很羞愧，可我也没坚决离开他，把事情搞清楚之后，我原本要回以前的城市，不再来往。可是我明明付出了那么多，他也一直认错告诉我只是一时的冲动没控制住，我想给他重新好好爱我的机会，但还是动不动就争吵，有一次发现他还和那个女人打电话，我很气愤直接就摔门而出，他没追我，第二天我打电话给他，他还发火，说分手因为我脾气太大，我还低声下气的告诉他让他别生气了，可以的话好好的在一起，他骂骂咧咧的挂了电话，我们一个多星期没联系，后来他找了个熟人来跟我谈，希望和好，可我拒绝了，再后来有一天我经济紧张想起问他要欠我的六万块钱，他以前信誓旦旦的说一个星期内还我，但已经有一个多月了，我迫不得已才发信息给他，但他还不上，他又表示要和好，我心软见了他，于是到现在还是吵吵闹闹，我在他身上丢了好多东西，还发现自己怎么那么卑微，那么没价值。我想知道该怎样对待这样的渣男，让他后悔！