過去に戻る際に、時間がだんだん減速していって時間が停止して過去に戻ろうとした瞬間過去の自分とぶつかるよね。
時間が戻る際に、物理的性質が反転して反物質のようになりそうなので、自分自身と対消滅しそう。

もし過去に行けるとしても、いきなりある時点に飛ばないとだめそうな気がする。

過去へ行けるとして、まずこの世界がどうなってるかですよね。

この世界が、時間を含めて４次元世界として（折りたたまれて見えない次元はあったとしても今は考えない）存在するなら、時間軸方向の特定の時点へ移動すればいい（実際にできるかは置いといて）。
その場合、過去を改変しようとすると、抵抗が働いて世界がもとに戻ろうとするかもしれないですね。アニメや映画の設定である、回避不能(困難)な未来説につながりそう。

もし、世界が現在しか存在しないなら、過去に戻るには世界自体をロールバックするか、別世界として再構築しないといけない気がする。
どっちにしてもやり直した場合、自分の行動がロールバック(再構築)後の世界に影響を与えてその後の世界は自分の知らない世界になる。
ただし、そのためのエネルギーをこの世界の中だけで調達するのは無理がありそうなので、可能だとしても多世界を巻き込んだ壮大なものになりそう。