相当に高い上空からあなたのいる場所方向に向かって落下してきた火球を見れば、一点に止まっているように見えます。
多少上下左右にずれていても、目視では遠距離なので角度の変化は認識できない。

しかし、どんどん落下してきて重力の影響や大気の抵抗でやや進路が変わることなどや、最初からある進路のズレが目視でも分かるようになり、あなたからは急に動き出したように見える。
ということでしょう。