我到底要不要出去买房

结婚前公公婆婆出了点事，我们结婚后公公因为某个原因离开了家，为此婆婆也是以各种理由离开了家说是出去苦钱，把家里80多岁的老人丢给我们一家三口，当时老公不成熟，女儿又是三天两头上医院，公公婆婆的债主三天两头上门讨债，小孩3岁多的时候公婆回来了，我以为情况会有所改变，然而事与愿违，公婆回来后不但不照顾80岁的老人和我的小孩，还又去外面弄了些欠债回来，老两口子几乎就是白天黑夜的去外面玩，经常半夜三更回家有时甚至都不回家，给我的感觉现在的家只是旅馆而已，丝毫找不到家的感觉，我太想出去自己买房子，但是家里就我老公一个儿子，小姑子又嫁到了外地，真的好纠结