断ることに決めたんなら
相手がお茶を飲んでるかどうかなんてどうでもいいだろ
気にせず切り上げて別れればいい