男人没有安全感

我们已经结婚20年，有两个孩子，这些年他一直有个毛病就是看见漂亮点的女孩总是会想要靠近讨好，整天想入非非的，对家庭对我更没有责任感，吵架后从来不会主动来找我交流，他会比女人还阴，冷战，我一直想离婚他不同意，又考虑到孩子就一直这样耗着，最近特别痛苦该咋办