我该继续忍让还是摊牌？

老公之前跟朋友出去玩都是打打麻将吃宵夜最多凌晨两点左右就回来，今年开始跟朋友出去基本上都是去酒吧玩，每次都凌晨四五点回来，每次休息就去，一个月大概四五次，我跟他说过我不喜欢他去那些地方，他说他去得次数不多一个月就几次，人家天天晚上都去呢？他们每次过去都是找陪酒妹喝酒一起玩，我真心不喜欢，我现在是只要他休息出去玩心情就很压抑很不开心，整晚睡不着觉，但又不知道该怎么做？总是患得患失，我该怎么办？