休みの日に部屋で休んでるって普通のことだと思うんですがどう思いますか？

現在いとこの親が経営する会社でバイトしててその会社の寮に住んでるのですが、
休みの日に部屋で寝てたら、後日伯父さんに「なんでみんな仕事してるのに自分だけ寝てたんだ？」と言われました。
その日は休みだったと言ったんですが、「休みでも手が空いていたら降りてきて少しでも手伝おうって気にはならないのか？」
と言われました。

ちなみに建物の二階に居住区画があって自分が住んでいる部屋の隣で伯父さん達が休憩します。

自分は上司から人が足りてるから休んでいいと言われて休んだのであって、駄目だと言うのに無理矢理休んだわけではないのにおかしくないでしょうか？