被一个男人缠住了，我该怎么办

我最近被一个男人缠住了，在租住的地方我们是一个院子，在群里认识的，他加的我，我们有共同的语言，可是我只欣赏他对工作的专业能力。但并不想和他做情人，然后她老骚扰我。还对我动手动脚的。我给他说了我有家庭。我也不喜欢他。对他没有其它意思。我该怎么办。