その男側としたら
「お前が交通費出すの嫌なら来なくていいよ、俺は一切出す気無いし」くらいに思ってそう