我不知道我该不该离婚

我和他结婚我家里都不同意，是我选择了他，他在市里打工，我生了小孩之后就回他老家照顾孩子，然后他就外遇了，那个女的和他以前是同事，我是小孩生病住院了去他那里的，这才知道他俩在一起快一年了，怀了两次孕，当时是第二次怀，逼他和我摊牌，说是不在乎名份，只为了他们的爱情，当时还没有在市里买房，他说愿意一起养我们，我说离他不同意，当时他是把那个女的放在心尖上了，而我一文不值，他从没有对那个女的那样对过我，不然我现在就不会这样难受了，最终他们还是分了，没分干净就藕断丝连第二次出轨，直接让她找到了他老家，不明不白温温柔柔的了了，过程很曲折但是他俩还是断了，我也舍不得小孩，就这样过了下来。四年了，他人是回来了，心不在我身上，夫妻之间他就是应付我，就是他也顾家，也在乎家，但是不在乎我，也不和我沟通，和他闹了、吵了、哭了他也哄你，说是夫妻就这样，好了之后就还是原样，我对他没有安全感，和他在一起有时侯很压抑，没工作在一起了就聊家里的事和小孩，然后就拿着手机玩，白天上班了还好，晚上的时候我就想哭，有时候就一夜都睡不着，这四年我晚上都不知道哭了有什么次，失眠了多少次，他也不关心，我现在很累，很压抑，晚上睡觉一想起来就想哭，我不知道该不该坚持下去？