老公爷爷委屈自己，该怎么处理

今天下午同学（男）来看我宝宝，家里没人（公婆出去喝丧酒了），然后我把同学带到楼上看宝宝，然后我老公的爷爷回来了，我就跟爷爷介绍了一下，然后爷爷下楼后，因为我抱着宝宝，穿着短袖，觉得有点冷，宝宝最近感冒，衣服也穿的少，就把门顺手关起来了，但是没反锁，然后爷爷收衣服上来，就很用力的敲门，大吼大叫的，说关什么门，把我和我同学吓了一跳，我说觉得，冷就关了，然后他就走了。他这什么意思，是不是觉得我和我同学有一腿？我也呵呵了，真的有一腿，还和你孙子结什么婚？我和我同学，08年就认识了，真要对眼的话，有你孙子什么事？妈的！！我自己爷还没这样对我呢，我真想冲他发火，但是他80多岁了真怕他一下子去了，还要怪我。一肚子委屈！！！！！我该怎么办？这样下去，自己同学都不敢来我家玩了，我同学都被吓懵了，好歹是客人，我真尴尬，难受，难得有同学来看看我宝宝的，不开心。怎么办？已经和老公反应情况了，我老公也不敢去和他爷爷说，怕他爷爷对我有意见，怎么处理呢？