是走还是留

我和我老公结婚三年了，他大我13岁，这期间他提过不下二十次离婚，但都没离成，他脾气不好，只要触犯了他，就会乱砸东西乱吼，骂人，在我怀孕期间叫我去把孩子打掉提了不下五六遍，一有矛盾他就提，生了孩子后的第三个月吵架了他居然要掐死宝宝，宝宝一岁多了我们吵架他也是说要把孩子带走我不让，他就准备把孩子从阳台上扔出去，防护栏都被他扯变形，宝宝四个月的时候他在外面跟一个KTV的小姐很暧昧，因为我没抓到真凭实据我不敢说他出轨，我就借其他事跟他闹了很多次，他才没有联系，生宝宝的时候说了要把宝宝一直带在身边，最近不知道怎么了？他非得赶我和孩子回老家，说经济状况不是很好，但我觉得不是这样，他有其他事才会赶我们回去，他提离婚多了后面我都麻木了，答应他了，可是在孩子的抚养权上争执不休才一直拖到今天，我自己觉得他应该在外面有其他女人了才会赶我们回老家的，所以我不愿意回，他说了不愿意也得回，我还怎么办？