例えばなのですが、
高所恐怖症の人とそうでない人の違いは何なのでしょうか？

高所恐怖症の人は、高い所に登れば、落ちる、死、などを連想して恐怖に囚われ身動き出来なくなったりします。
呼吸も上手く出来ずパニック発作などが起きる場合もあるでしょう。
しかし落ちる、死、といった連想は高所恐怖症の人でなくても多少はするでしょうし、しないと逆に危険です。
その連想をリアルに感じてしまうかどうか、「自分は大丈夫」と思えるかどうか、、色々あるとは思うのですが…。