这是怎么了？

本人女，已婚九年，虽然日子过的平平淡淡的，但从没想过出轨，从去年开始小区的一个认识好多年的男邻居和我表白，（不是一个楼的邻居）他已婚，着实给我吓了一跳，居然说喜欢我好多年了，从那以后总是纠缠我，一年了，说实话一开始我很反感，压根不理他，觉得他就是色狼，可怕的是今年，在他的无数次纠缠下我居然和他单独出去了，而且不止一次（重点我们什么也没发生！）通过一次次的单独相处，我现在发现我居然看不到他会想念他，我会每天望着楼下去寻找他的车，想知道他在家没？我不会主动联系他，一直在控制自己的情绪，我告诉自己，不应该和他走到那一步，后果很可怕，我喜欢听他说话的声音，我不知道自己为什么会想见到他，可能我只需要一个能陪着我说话的男人吧，他的目的我很清楚，无非就是想和我上床，但是有一点他尊重我，没有强迫过我，我现在好苦恼，我不想出轨，做婚姻中的罪人！但还控制不住会想他，想念他说话的声音，为什么这一年来我的心里会有这么大的变化？