该怎样放手

我们两个都有家庭，他和她老婆关系不好，我们无意当中走到了一起，他比我小，我从没想过去破坏他的家庭，也不可能在一起，他会带我去见他的朋友，出去玩也想带着我，他怕我离开他，我知道他过去也被着她老婆找过，有时候想想，是该离开他了，但就是做不到，可能自己还没有感到危机，知道这是一件不光彩的事。真的不知道该怎么样放下。