很难再次面对和我发过脾气的人怎么办？

我有一种障碍，但凡有一个人冲我大声说话或对我发脾气，放心好了，这个人这辈子就不用见我了。如果这个人正好是我的同事，没有办法，我只能见面假笑礼貌地寒暄一下，他们如果再来我办公室，我装作很镇定，但我心里面已经怕到打颤，我感觉我的心直抖。
 
所以，一般这类人，我都不会和他们来往，如果必须要来往，我也会尽最大限度地减少见面和接触的次数。
 
可现实问题是，有一个同事曾经和我说话的时候情绪激动，说完话就自己走了，把我一个人愣愣地留在那里，然后一会儿又回来了，这时我当场就告诉他：“您下回来的时候麻烦敲门昂。”他说：“我不来了！”，我心想，真是太好了。
 
但是他有很多事情需要和我对面的同事商量，因此就需要经常来我们办公室。因为考虑到我的原因，我对面的这个同事总是要出办公室去和这位同事商量事情，但是时间久了，对面的这个同事也觉得很不方便。对面这位同僚可能觉得我过几天气就消了，可是，真是不好意思，我真的做不到呀，这好像就是我的性格，只要碰着这个雷区，我一点就着。
 
这可怎么办呢？我总不能因为我自己情绪的问题给别人工作制造不方便吧？可是我是真的真的不想再看见那个同事了，我觉得恶心。
 
我仔细想了一下，这种人之所以让我感到不舒服是因为他们不稳定的情绪让我感到这个人不安全，一旦有人给我一种不安全、难以信任的感受的时候，这个人就基本和我无缘了，纵使你使吃奶的力都别想让我和你有什么交往，这时候啥都不好使了，乖乖滚就可以。
 
但是我又想，人不可能一辈子都不发脾气呀，我要是一直抱着这样一个态度跟人交往，那真的是没有几个值得交往的人了。不过说实话，我现在的朋友，有时候也会有小脾气，但我就心里面笑笑，骂她们一句，依旧经常联系经常帮忙，但她们都是好脾气的好孩子。
 
所以我的问题在于，刚开始和人交往的时候，我真的难以接受脾气不好的人，我觉得自己难以应付突然的失控和突然的发怒，我要怎样调节一下让自己不那么敏感或者不那么惧怕突如其来的脾气呢？