爱上一个离婚男人，他说他也很想和我在一起...

爱上一个离婚男人，他说他也很想和我在一起，觉得和我在一起亏欠前妻，前妻要一个人去租房子，去重新生活是自己造成的！他内心想和我在一起，我说离开，他也不舍，我该怎么办，我也想和他在一起对，我的任何条件都比他前妻好，他前妻性格暴躁，她们经常打架，应该是我的出现让他离婚了，离婚之后又回过头去找过前妻，前妻回来了，生活一个月又觉得和我合适，第二次伤害前妻选择和我在一起，前妻去单位说他的不是，各种伤害！他觉得是自己逼前妻做的，没办法和我正常生活，觉得是他对不起前妻，他说他要回头去照顾前妻，因为是自己的原因！又舍不得我，觉得我们好合适，我该怎么办！