老公性需求太频繁，我该离婚吗

我跟我老公结婚三年了，我们是未婚先孕才结婚的，在一起也一直是吵过来的，不过他脾气比较好，任我打任我骂的。我最受不了他的就是性需求很大，一见面就想那个。不分场合不分地点的来靠近我，让我觉得很烦。因为我们双方家里老人都不在身边，小孩一直是我自己带，导致我脾气很差，也不想跟他发生关系，因为他要的实在太频繁了！让我觉得除了性他已经无所事事了，工作也不努力，就想天上掉馅饼，一下就能发大财那种，家里人都说他，他说我们看不起他。因为他是上门女婿！小孩他也不怎么管。现在我们偶尔在一起，因为各自都在忙各自的事情，但是一在一起，他就要啪啪啪，让我觉得很恶心！不满足他他就说离婚，过起没意思。之前让他离婚的时候他又不愿意，还跟我争小孩的抚养权，有时候想到宝宝又怕离婚真的对宝宝造成伤害。他在外面欠了很多债，我们家也帮他还了不少，这也是让我对他讨厌的原因之一。你说我到底要不要跟他离婚呢？我们还有相处下去的可能吗？最近我又怀孕了，我让他拿钱出来打掉，他跟我说他没钱，叫我等到他发工资，我的身体越来越差了，肚子里的小孩也一天天长大！可是他跟没事人一样！回来还是找我啪啪，不啪啪就跟我说离婚，我今天很生气，然后说明天去民政局，这婚我该离了吗？我不知道我想要什么，我也不知道离婚之后我该怎么办，求大家给点意见