被“共苦”的工友误解，我该怎么办？

我现在是办公室里的一名打工人，可不久前来了朋友亲戚找我说我不够意思，自己找了份这么体面的工作不带他们，这搞得我不知是哭还是笑好。一方面的他们好歹也是我的亲戚朋友，以前他们可没少给我介绍工作，以前也跟他们一起做过，臭气熏天满厂灰尘脏累我们都一起挺过，我的确不能只顾自己不考虑别人的。
可一方面的我又也只是刚好勉强立足而已，办公室的工作是看着轻松做着累死，同时需要足够的知识储备和想法，他们普遍学历都不高也没有多少通过学习改变欲望，最后只好无奈又惭愧地说了句“不好意思”。