我到底该怎么办

我真的很痛苦不知道该怎么做，我26岁了一直没有谈恋爱，就24岁的时候终于迈开和一个男生谈恋爱了，但是过程和我想的完全不同，我们总是见不到面，偶尔才出去约会，到了去年的时候更加是去照顾他爷爷为由一直呆在外地，其实说外地还是在离我们不远的地方，一个市里，女孩子嘛总是想结婚的，他也说过会带我回家但是总是闹矛盾分分合合，理由就是我觉得他一直不回来，而他觉得他回来我就是批判他，所以不愿意回来。后来他因为和朋友玩了一次麻将输了很多钱，他不敢和家里说怕家里人失望照顾爷爷还闯祸，就一直自己还钱还问我借钱，前后我也借过几次，但心里总是有点不舒服，最后一次我没有借我说你告诉你家里吧，这样不是办法，可他告诉我如果和家里说我们就不能在一起了。因为他爸爸一直希望他和别人在一起，如果告诉家里他闯祸那他一定要听家里的话了，我当时没想那么严重，我觉得你既然闯祸了那你解决不了就和家里说而不是总问我借钱，后来他回家坦白了，我们只能分手了。前段时间我们又联系了，其实我真的放不下，毕竟是初恋也很喜欢他，但是我们又不能结婚，他家里不同意，我真的不知道该怎么办？我知道一定会说家里不同意是借口，我也这么认为，可我该怎么办呢