>>201 は多分ノーヒント苦しいのでヒント
まず x = tan(θ) で置換すると

I(a,b) = ∫[0,∞]1/√((x^2+a^2)(x^2+b^2))dx

よって

I((a+b)/2,√(ab))
= ∫[0,∞]1/√((x^2+(a+b)2/2)(x^2+ab))dx
= 1/2∫[-∞,∞]1/√((x^2+(a+b)2/2)(x^2+ab))dx

コレをもう一回置換積分
どう置換するかがミソですがここまで来ればこの手の積分の置換の定石
コレがピタッとI(a,b)になるのがとても心地よい