出ていいのか、迷っているのでは？
こっちから「次に来客あったら出てね。何も分からないだろうけど、まず、出て。用件を聞いたら、お待ちくださいって伝えた上で、俺んとこ戻って来て。そしたら、どうするのか、また教えるから」。
こう言えば、遠慮も誤解もしようがなく、とぼけようもないと思う。