自己知道不对却改不了

前夫出轨离婚，孩子跟我，我是一个农村女孩，家里条件一般，最近接触了新朋友，新同事，可我不敢说我的过去，我觉得不好，有时听他们说二婚孩子，怎么怎么样，还说我一二婚女人带个孩子，虽然知道是开玩笑，可心里不舒服，遇到有点喜欢的男孩，更不敢说，人家没结过婚，没孩子，肯定会很介意，总觉得离婚带孩子让别人很难接受，怎样能让自卑心理好。