还要不要在一起

我有一个比我小七岁的男朋友，在一起三年了，最近他跟他家里人谈论了一下我的事情，他爸爸同意，他妈妈不是很同意，当初我们俩在一起时，我家人都反对（因为我离过婚，还有个孩子）男方还没结过婚，本来这次过年男方要来我家，因为我的事情就没来，我爸妈知道后，现在也不同意我们俩在一起，我也不知道现在该怎么办了