感情和家庭如何选择

一个算是初恋，刚开始以前彼此都没有表白过，五六年没有联系过，没见过面，忽然间有了彼此消息就开始了联系直到内心的感情再次燃起，可当联系的时候已经都是有家庭的人，从后来联系上也快十年了，现在一方感情破裂离婚，，另一方源于家庭各方面原因不知道该怎么办了？又想和爱的人在一起，又怕伤到孩子，也怕之间生活到一起因为各种问题而闹矛盾，，好纠结，如果不走到一起以后人家找下或复婚，自己又接受不了，痛苦，该如何是好？