这段由于前妻出轨的离婚让我对孩子很愧疚

离婚四年了，女儿判给了女方，前妻也结婚了因为种种原因孩子的抚养权给要不回来。女方有了新的家庭也不希望我去打扰他们的生活。离婚是因为家里关系不好，女方有外遇。我现在特别消极对孩子很愧疚，感觉生活没有了中心也没有了目标。我该怎么办啊。