很迷茫，希望得到大家的帮助

我是一个离了婚的女人，也开始了新的恋爱，我男朋友也是一个离了婚的，他带有三个孩子，我们在一起一年多了，现在，他前妻突然说为了孩子要回来好好过日子，可我们在这一年中已经有了感情了，我放不下，也舍不得。我男朋友也不愿意跟他前妻复合，可是，他前妻现在回去他家住了，现在所有人都在骂我是小三，破坏人家家庭，我心里很难过，可也不知道该怎么办，他们毕竟有三个孩子，我退出，他们孩子是幸福的，可我男朋友说，即便没有我，他也不会跟他前妻复婚，这样子，我该怎么做才是最好的