放不下孩子

因为感情不和总吵架，感情破裂，离婚了，我们有个儿子四岁了，离婚前我们分居快两年了，我认识了新男朋友，现在刚离完家人又都劝回去说孩子可怜，我也知道孩子可怜可是我不想回去过以前的日子，家里人都说他这次肯定不会像以前那样对我了，之前回去过一次，没多久就出来了家人都说孩子在单亲家庭长大不好，可是我前夫的家人从来没有态度，我该怎么办，我现在的男朋友父母不知道我结婚有孩子，我该怎么办