离过两次婚的男人，而我20出头

女方98年医学专业毕业，未婚，家庭简单。
男方85年学历有限，两次失败婚姻，
带着第一任的大儿子，第二任的小儿子对方带着。
我们交往半年孩子也接触过，没有问题。
爸妈知道这个男人的存在，但不知道我们走这么近，
问他离婚原因只听过女方出轨就停住了，不可能两次都出轨，毕竟一个巴掌拍不响。
我自己就是喜欢年龄大的，给介绍同龄的还没见面就被否决了。我们两个在一起的时候很高兴。就是在开始被我知道他和前女友藕断丝连，被我收拾了一顿好了。
求助:现在朋友劝我去看心理医生，虽说婚恋自由，但是对于我们两个今后的走向，我也很茫然。