あくまで時間という概念は、人が生み出したものにすぎないということでは...？
仮に時間が存在しないとして、「過去」と呼ばれるところに移動しようとすると、「過去」とよばれる空間を丸ごと再構築する必要があり、地球規模の話ではなくなるからではなかろうか。