老公知道了恋爱时候劈腿

我跟我老公认识十几年了，从初中开始耍的朋友，我们结婚6年，孩子5岁，夫妻关系也和谐，家庭也很幸福，但是最近有一件事情，打破了这种和谐，让我们不知道该怎么办。

在10年前，上大学那会儿，我跟我现在的老公还是男女朋友的关系，但是我们没有在同一座城市上大学，刚上大学那会儿，特别是大一，我老公那个时候对我的态度是不冷不热，一个周最多通电话两次，每次不超过5分钟。后来，有一个男生，对我很好，于是我们从朋友发展成为恋人，还有了肌肤之亲。那个时候就跟我老公分手，他一直没同意。后来他知道了我跟朋友之间的关系，就不依不饶，一直让我再跟他在一起，在他的软磨硬泡下，我也想试试还能不能走到一起，于是跟我老公又和好，一直重新耍朋友重新认识，直到6年前我们结婚生娃儿，但是最近，他老是觉得我那个时候跟其他人在一起过，老是问我们之间的关系发展到什么程度，并且跟我讲这是他这么多年一直的心病，我就老实的告诉了他我跟我之前那个朋友是有肌肤之亲的，告诉他后，感觉他很痛苦，天天就在纠结这个事情，觉得我当初不应该背叛他，但是我们又不可能离婚，我知道他是真心爱我，我也很爱他，但是就是放不下这个东西，现在不知道该怎么办