该不该继续

我今年20岁 一年前爸爸的朋友向我求爱 我答应了他 他比我大16岁有老婆孩子 但是由于他的各种原因我三四个月才见一次 我很想和他有个家 我经常满脑子想他 心情烦躁 除了他什么事情都不想干
我该怎么办