该怎么走出感情的第一步？

曾经有一个男生追我，我们俩大概暧昧了六七年，他是我高中同学。我们俩高中毕业后一直没有见过面，一开始是因为异地，后面他毕业回来了我感觉我还是没有准备好和他交往，我总是单方面拒绝和他见面。
我对他的感觉一开始是那一种......我拿你当兄弟，你却想要追我。但是我又确确实实不讨厌他。我和他的思想上存在一个悖论就是，我觉得我们聊的还不够熟络，所以我暂时不想跟他见面，他就觉得什么事情都要先见一面，见了才能更加熟络。
他人倒没什么大问题，但是我好像在挑他刺。他每次都在我遇到倒霉事的时候精准踩雷，我觉得我可能当时把一些怨气或者怒气发泄在他身上了。我脾气不好，他也知道我脾气不好。我对他发脾气他也不会说我。他就比较......我不知道该怎么说？不太敢惹我好像？就每次跟他聊天，聊什么都行，但是一聊到他要约我出来见面，我们俩立马就会谈崩掉。所以我到现在都觉得不是他的问题，是我的问题。
他有个最让我受不了的特点，就是他拿我特别当自己人，会说一些非常坦诚的话题，非常的会暴露自己的缺点，然后我看到他这些缺点，觉得他这些毛病跟我很像，我就感觉很奇怪，我不喜欢他这些缺点。我去年言辞激烈的拒绝了他，说完我就后悔了。他一句话没有说，然后就再也没有联系了，我也没有删他，但是我估计他是想把我给拉黑删除。其实之前每次都给自己做心理建设，我就告诉自己一定要去答应他去见一见去看场电影，吃个饭都行，但是每次实际上在聊到这个话题的时候，我又想跑了。
说白了我怕见光死，我很自卑的，觉得自己不够漂亮不够优秀，可以说一无是处吧，怎么能配得到别人喜欢。我其实是喜欢他的，但是一旦他直白的表达爱意我又想退缩了，而且感觉没那么喜欢他。但是过一段时间他不提表白的事，我又能和他正常交流了。
我也一直不能理解他为什么喜欢我，我老是问他，他总是说没有为什么。我知道感情的事情谁也说不准，我不知道我到底在探究些什么。
我不知道该怎么办了，现在想想特别对不起他，我就像有心理障碍一样过不去这个坎，我不知道该怎么答应别人的感情，不想拒绝又下意识地拒绝。
我以后该怎么办呢，我到现在都是母胎solo，仿佛又陷入了“反正没人爱我，就这样浑浑噩噩过一辈子吧”的想法里。