お付き合いしていなのに相手の部屋には行こうと思わないし、逆の立場からしてもないですね。
断るべきです