交際2ヶ月と少しで初めての試練というか今後どうすればいいのかわからない状況に陥ってしまった

まず前提としてお互いの仕事の都合上休日の２日連続で遊んだことがなかった。
昨日会うことになり楽しく過ごせたんだが、今日お互い何もないということで昼からどうしようかと話したところ
彼女がダイエットのために毎週休日にだけ必ずしてる水泳を2時間ほどしてからまた会おうということで、自分は相手の最寄りで待つことに。
しかし自分は相手からの連絡を2時間と15分待ったが来なかったので本当は来てほしくなったんだなと思い、帰る旨と付いて来たこともLINEで加えて謝罪して帰った。相手からも待たせてごめんとか返事が来たがその文もそっけない。
自分の存在の優先順位が低いことに悲しみを覚えたのと本当は俺に帰ってほしかっただろうに来てしまったことに後悔してます。今後どう関係を築いていけばいいかわかりません
どうすればいいんでしょうか