誤解するのなら、よりを戻したのは後でも構いません。

分かりやすいように、ストーリーを足しているのを否定すると、
「を」も成り立たなくなってしまいます。