我的婚姻遇到难题

我是一个离过一次婚的，和前夫有一男一女，男孩十五女孩十八岁了，我再婚十年了有一个男孩八岁，现在和现在的老公感觉两个人性格不合天天吵，他很小气不想让我管我和前夫的孩子，我的孩子经常会问我要点零花钱我也给了，可是他不高兴，只要一吵架就说，就会说我把他家掏空了，这话让我听的很生气，明明是我给他一起辛辛苦苦这么多年一起挣钱修房子买车子，我给他结婚的时候他什么都没有房子也没有，是我给他挣钱修房子的，怎么现在还说我把他掏空了，还说他一个月几千块钱都不知道花哪里去了，明明我每个月挣的钱，舍不得吃买衣服都拿去修房子了，自己钱不够还要去借钱，这些他都知道，，为什么还要怪我，唉，这样的日子真的好累，想离婚可是又孩子，怕孩子受气. 我现在不知道该怎么办了，给他从来也没有共同语言，一说话就是吵架，不知道我是该继续忍受还是该去和他离婚，