宇宙背景放射について質問です

137億年前の光が今地球に届いているとのことですが
なぜそんなに時間がかかっているのでしょうか？

過去の宇宙は小さいし、光は速いし、背景放射は宇宙の全てから放たれてるし
とっくの昔に地球に届いてるような気がするのですが？
私の勘違いでしょうか？