我是否应该离婚？

跟老公两地，他年薪百万，我也有工作，后来有了第二个孩子，没老人帮忙，找了育儿嫂，换了几个都觉得不满意，老公决定回家发展，辞去工作，回到家收入减半。不知道是家庭琐事太多还是因为孩子没有放心的人带而焦虑，我总是看老公不顺眼，总是想到他以前去过风月场所的事，所以总是跟他吵闹，提过好多次离婚，每次提离婚的时候，我是真的想离婚，真的很厌倦这种生活。他每次都挽留我，但是他会说第二子孩子是我想要的，他放弃以前的事业，金钱地位也是我让的。可在我心里，我从未这样做过，我一直以为是他想要的二孩，是他心甘情愿为了我们选择回家，我曾经还反复确认，不要说是我让你放弃的，但是每次吵架，他都会说是我让的。渐渐的我觉得我他特别不男人，没有担当，只会推卸，分不清主次，再加上以前的事，我感觉我对他好想没有了感情，但是有两个孩子，我又觉得我选择离婚，对孩子们特别不好，是一个很自私的决定，不知道现在该怎么做，很迷茫。