お断りの常套文句だからあまり深く考えなさるな。
〇〇が気にいらないから嫌とは直接言えないだろ？