我该怎么判断和继续

27岁的我，今年离婚了，半年之后爱上了一个东北的已婚男人，我知道这是不道德的，和他一起的日子我挣扎着矛盾着，可他总是能细心的发现，并且极力的消除我的顾虑，渐渐我也照着他说的去期待和发展，他对我很好，或者说他对我的好恰到好处的对我的心，因为体谅他家里有两个小孩上学，还有一个不工作的妻子，还有年迈的父母，和他一起生活的开支基本是平步，在我眼里，他还是一个比较担当的男人，他说他不会抛弃糟糠之妻，而我更不会要求他离婚，这个说，让我对他更爱了，觉得他这样做是对的，至少为了小孩也应该，所以为了以后的生活更好，我打算投资和他亲姐做门面，他非常开心，我心里更暖了，可是不正常的生活总是会有各种问题，今年国庆他回老家说过年就不回去留下陪我过年，我信任他，今天他却说过年要回去，我沉默了，他接着说，一年了不可能不见见孩子，看他的神情有点躲闪。我在想国庆的时候回去过了，现在说这样的借口为什么..我说那就回吧，想回我也不能留你，脸上的不乐意他是看见的，为了这个事情，我们又陷入了静静中，我突然无法判断他的行为是爱还是利益还是其他，我迷茫，他说叫他姐过来陪我过年，我就是他家的一员，这是肯定的.我如今真的无法判断，告诉我，我该怎么做。