歌詞の解釈は、作者の心の探究とは違うと思います。
不倫だったと確定できるわけでもないでしょうし、
失恋が彼の表情に影を落とすとしたら2年前で、
時の経過が変えたということなら、
違う要素かなとも考えられます。
もう過去のことになってしまったという主人公の想いとか。
不確定要素があるため、「私だけが」も否定することはできないと
思います。