该不该放弃他？

我爱上了一个有夫之妇，为了他我离婚了，在一起两年多，他对我的好，但是，他始终不能给我一个交代，她老婆家里条件非常好，他这个人很注重钱，所以，一开始很明了告诉我，不可能离婚，后来，他和我说，做梦说梦话，喊我名字，他老婆本来就怀疑，然后就更加确定了。但是，谁也不提出来分手。他给我的解释就是，如果离婚，他净身出户，什么都没有。他说他老婆也是这个意思，为了房子。
后来不到我一个月，他和他老婆出去旅游了，一开始骗我，各种理由，后来我要见他，让他来找我来。他才告诉我，他在国外。我当时心都伤透了
他回来以后，找我出去谈了一次告诉我，他老婆认钱，他用钱堵她嘴，所以，给他买了一辆奔驰，没多贵。30多万，呵呵。当时我就乐了，一直说给我买，结果，人家给老婆换了，我就更懂我自己的位置了。
最近一段时间公司经营不好，他经济危机，我们经常吵架，说实话我并不物质，没找他要过一分钱，都是他给我的。我真是有一颗想跟他受苦的心，但是他没给我这个机会。
想离开他了，下了无数次决心，还是咬不下来牙，谁能帮帮我。真的不想在这样痛苦了。