三家出资买房矛盾是真的多怎么办？

本来改善住房是件好事，可是牵扯到三家共同出资真是会有很多矛盾。
我和老公想在本小区再买个大平米的房子，他提出向双方老人一家借20万。可是现在的住房很有可能就是公婆过来住。这样的话，我父母会不平衡的。父母给孩子出资换房他们可以接受，但是公婆也改善了住房环境，这就让我父母觉得那这笔钱到底是资助了谁呢？给孩子花钱如果是心甘情愿，那么给亲家花钱改善住房就没有道理了呀！