球の問題の解答編読んだ。
なるほどなあ、積分は本当にゴリゴリやる方法だと無理っぽいね。自分が考えたのはこんな感じ。

ランダムに選んだ3点が成す大円と球の中心との距離（解答編で言うd）の確率密度関数は、
その大円の半径の2乗に比例する（※後述）。大円の半径の2乗は1-d^2だから、確率密度関数は
1-d^2を「1-d^2を0から1まで積分した値」で割って3(1-d^2)/2となる。

解答編にあるようにdに対するA^2+B^2の値は
((1+d)^2+(1-d)^2)/4
だから、これに3(1-d^2)/2を掛けた3(1-d^4)/4を0から1まで積分した3/5が解となる。

さて問題は※だが、私の力では厳密性をかなり欠いた議論となる。ランダムに選んだ1点が、ある特定の
大円の上に乗る「確率」は、その大円の周の長さに比例すると言って良いだろう。従って、ランダムに選んだ
3点がすべてその大円の上に乗る「確率」は、長さの3乗、つまり半径の3乗に比例する。

あれ？2乗じゃなかったのか？と思うかもしれないが、球上に存在する大円の「個数」は、
半径が小さいほどたくさんだということを考えなくてはならない。野球ボールの上に半径1cm
の大円を100個描いた場合と2cmの大円を100個描いた場合では、前者の方が薄く見える
はずだ。何個描けば同じぐらいの濃度に見えるかといえば、これは大円の周の長さ、つまり
半径に反比例するだろう。

そういうわけで、特定の大円上に3点が乗る「確率」は半径の3乗に比例するが、大円の
「個数」は半径に反比例するため、確率密度関数は半径の2乗に比例する。

こういう風に考えたけど、如何せん議論に厳密性を欠くし、これでも5点で考える方法の
方がエレガントなので、そっちで応募した。※は数値実験でも確認しているので、誰か
もう少し厳密な証明を考えてくれないかなと思う。