喜欢上了回避型性格的男孩，怎么办

我们之间有很多话可以聊，兴趣爱好相似，刚开始相处十分融洽。就是类似于朋友关系或者暧昧吧，也牵手了。我也确定他不是那种随便的人。
现在的问题是，他对感情极度不自信，内心敏感。只要我要向他走近，他就说：“我能给你的很少。”或者，“你把情感寄托在我身上是十分糟糕的。”
感觉就在疏远我。说我给他增加了社交压力，他想做一颗植物。
我曾经问：你很厌恶我才疏远我吗？如果你不喜欢你为什么拒绝？
他说：不是，我能不说吗。我的情绪不稳定，心情不好吧。等我这一段时间过去了。
无论是以什么样的角度，我都想弄清楚，应该怎样和这种回避型性格的人相处。因为我自己之前也抑郁过，这是不是抑郁，自闭的表现。