それで、確率変数rの確率密度関数はf(r)=2rとなるので
求める確率は
∫[0〜1]2r(π/2+r√(1-r^2)-arcsin(r))/πdr = 3/8
となるようです。

周上に4点を独立に一様分布として取った場合の確率(=1/3)とは、
当然異なる結果となりました。