被前男朋友骚扰，该怎么办

他也不算我的男朋友，我们都没有见过面。我们只是在网上聊聊天都不到一个星期。在聊天中他说他喜欢我想让我做他的女朋友，我因为是学生就没有同意，可是后来我的同学们是，他长的又帅（网上的照片是假的）又高，就一直劝我同意。她们说先交往试试，如果不喜欢就分了。我想了想我的朋友就替我同意了，之后他要了我的电话号码，我没有想太多就给了他。没多久他就要求和我见面，就在这个时候我才要了他的照片，我是真的反胃（太丑了）。我把照片发给了我的朋友，朋友二话不说就让我和他分手。我本来就不喜欢他，再加上他长的……
可是从来没有谈过恋爱的根本不知道怎么分手，最后也是朋友要我的QQ和他分手了。
之后，他一直打电话给我，一直都不停的骚扰我，我每天都不敢接一个电话，我最后把他加入黑名单在那半年我一直都没有被骚扰。
可是今天晚上他打电话给我，我不知道是谁的就接了。由于我的记忆力不好一时半会想不起他是谁，结果因为我一直没有和他说话他就冒火一直不停的骂我。我忍无可忍就骂了他一两句，结果他说他知道我的名字，知道我的一切。我是真的怕了！我不想和他吵，果断挂断电话，他一直不停的不停的打来。我又加入了黑名单。
可是我从那之后就一直睡不好，学习都没有用心，我害怕他来找我，我是真的害怕。
我不知道怎么办才能让他不要骚扰我，又不把事惹大。
请你们帮帮我