关于婚姻，我该如何

老公在网页上浏览记录“老婆家里穷，想和她离婚”
我偶然看到，觉得非常心寒，但是他没有当面和我说过，只是吵架的时候说，“过不下去就离婚！”
我家确实穷，妈妈上班，爸爸做装修的，因为家里造房子买车什么的，我爸可能没有钱给我做嫁妆。老公家爸爸很有钱，他自己也没什么钱。他不喜欢我家里人，他觉得我家里人一直在说他坏话，而且是在一个村子里说，我感觉不会，我又不好意思去问我爸妈到底说过没。
我现在比较迷惘，因为我们有孩子了，每天带孩子真的非常辛苦，没有一天睡眠超过五小时，每天精神状态不好，所以我有时侯暴躁抱怨了，他听不得我的抱怨，每次一说，他就“想吵架是吧，别说了！”然后拍桌子。 其实我的初衷只是为了让他能多关怀我下，只是往往话一出口，就适得其反。
但是说起来，平日没吵架的时候，他对我挺好的，衣服会帮忙洗，有什么家务吩咐他干他也会去做，也不赌博也不出去混。
我不想离婚，但是我怕。我不知道如何和他沟通，因为他不想和我沟通，他听不得那些讲道理什么的话。
好苦恼。