公理化できるから、数学的構造を持っているから、数学的概念である
というのなら既存の数理科学は全て数学的概念に含まれてしまいます。

数や空間との違いに関して一つ思いついたことは、
数や空間の概念は自由に拡張できる、つまり拡張してもそれが数や空間だと思えるのに対し、
確率の概念には（少なくともまだ）そこまでの自由度は許されていないということです。
非可換確率論という拡張された確率論もありますが、これは量子力学という物理的なモデルがあるから確率だと見なされているに過ぎず、
制約なしに自由に拡張した結果ではありません。
人間の持つ確率の直観が心許ないせいで、十分にコンセンサスの取れた測度論的定式化に依らないと自信を持って確率だと言えないのが現状なのかと思います。

＞いきなり落下傘的に結果の方から攻め入ってくるやり口が気に入らない、許し難い。
私の感覚はこれに近いと思います。
心許ない直観しかない素人に無理矢理お仕着せた方法、という感じが拭えません。
もちろん、コルモゴロフが最善を尽くしてそれを定式化し、今でも最善の地位を揺るぎなく保持していることは理解していますが。