该不该离婚？

在一起五年 结婚一年 孩子四岁，他比我大十岁，可什么事情都要无我分个对错，公平，而且脾气还不好，每次吵架都不敢多吵一句，怕他一发脾气又干架。在说了干架也不是第一次啦，而且还是因为一些小事打架。
第一次打架，是因为他的手机卡啦，就摔手机，我就说了他一句，他就说话很难听冲到我面前想和我打一架，当时所有的怨气都累积出来，所以先动手打了他一巴掌，结果我那是他对手，一个劲的把我往死里打。
第二次，就是前段时间，就是因为他叫我给他钱打牌，我不给，他又摔东西，还骂我，摔东西还差点砸到孩子，我当时又没忍住给了他一巴掌，结果还是和第一次一样，事后还质问我有没错，我认错啦他才认错，可笑又可气，你们说我该不该离。