点Pを(x,y)とおくと、x2+y2=1, y>0である。
外心QはO,Aから等距離なので、Q=(a/2,q)と書ける。さらにOQ=PQより 4a2+q2=(x−2a)2+(y−q)2, したがってax+2qy=1であり、 q=21−x21−ax. 0<a<1より1−ax>0だからq>0である。
(1)について、 q2−41−a2=4(1−x2)(1−ax)2−(1−a2)(1−x2)=4(1−x2)(x−a)2≧0. 等号はx=aのときに成立する。またx→1−0のときq→∞であり、a≦x<1でqは連続だから、qは1−a2/2以上のすべての値をとる。一方、Qが単位円内にある条件は 4a2+q2≦1すなわちq≦c,c=1−4a2. ここでc2−(1−a2)/4=3/4>0であるから、求める範囲は1−a2/2≦q≦cである。
(2)では最大値q=cとなる。このときQ=(a/2,c)であり、ax+2cy=1とx2+y2=1を連立すると 4x2−2ax+a2−3=0,x=4a±23c. それぞれに対応するyは、x=a/4+3c/2のときy=c/2−3a/4、x=a/4−3c/2のときy=c/2+3a/4である。2c>3aは4c2=4−a2>3a2(a<1)から従うので、どちらもy>0を満たす。したがって最大時のPはこの二点である。
(3)のため、 u=2c−43a,v=2c+43a,p=4a+23c,r=4a−23c とおく。p>0>r、u,v>0であり、p2+u2=r2+v2=1。許されるxの範囲は 4x2−2ax+a2−3≦0すなわちr≦x≦p. よってP=(cosθ,sinθ)とおけば、θはθ1=arcsinuからθ2=π−arcsinvまで動く。
高さt(0≦t≦1)で各三角形を切ると、その切り口は tcotθ≦X≦a+tsinθcosθ−a である。左端はθとともに減少する。また右端に含まれる(cosθ−a)/sinθの導関数は(acosθ−1)/sin2θ<0なので、右端も減少する。したがって、切り口全体の左端L(t)と右端R(t)は L(t)={vrt−1−t2(0≦t≦v),(v≦t≦1),R(t)=⎩⎨⎧a+up−at1−t2(0≦t≦u),(u≦t≦1). となる。よって面積Sは S=∫0u(a+tup−a−tvr)dt+∫uv(1−t2−tvr)dt+∫v121−t2dt. 0≦t≦1 で t=sinψ(0≦ψ≦π/2)と置くと,dt=cosψdψ,1−t2=cosψ である。したがって ∫1−t2dt=∫cos2ψdψ=2ψ+4sin2ψ=2t1−t2+arcsint. さらに p=1−u2,r=−1−v2 を用いて整理すると S=2π−2arcsinu+arcsinv+2au. ϕ=arcsin(a/2) とおくと 0<ϕ<π/6,c=cosϕ であり,u=sin(π/6−ϕ),v=sin(π/6+ϕ) となる。0≦π/6−ϕ≦π/2、0≦π/6+ϕ≦π/2 がともに成り立つので,主値の範囲から arcsinu=π/6−ϕ,arcsinv=π/6+ϕ, 従って arcsinu+arcsinv=π/3 であり, S=3π+2a(2c−43a)=3π+4ac−83a2.