2ベクトル u=(u1,u2)、v=(v1,v2) に対し Δ(u,v)=u1v2−u2v1 とおく。この成分の積の差の符号は向きを表し、同じ始点からの2ベクトルを辺とする三角形の面積は、内積と面積公式から ∣Δ(u,v)∣/2 である。まず、方べきの定理よりBA1⋅BA4=BA2⋅BA5である。正三角形A1A2BよりBA1=BA2=aなのでBA4=BA5。また∠A4BA5=60∘であるから、三角形A4BA5も正三角形であり、BA4=BA5=A4A5=bとなる。
Bを原点とし、BA1,BA2の方向がそれぞれ正のx軸となす角を30∘,−30∘とする。このときA1=(23a,2a),A2=(23a,−2a),A4=(−23b,−2b),A5=(−23b,2b).円の中心Oはx軸上にあるのでO=(h,0)とおく。半径が1であることからOA12=OA42=1,a2−3ah+h2=b2+3bh+h2.よってa+b>0を用いてh=3a−bを得る。これをOA12=1に代入すると1=a2−a(a−b)+3(a−b)2=3a2+ab+b2,a2+ab+b2=3.
(1) 弦A2A4の中点をMとするとM=(43(a−b),−4a+b),OM2=48(a−b)2+16(a+b)2=12a2+ab+b2=41.またA3A2=A3A4よりA3はA2A4の垂直二等分線上にある。C=2M−OとおくとOC=2OM=1であり、Cは弦A2A4の垂直二等分線上にある。頂点の順序からA3は弦A2A4に関してBと反対側にある。実際、Δ(A4−A2,B−A2)=−23ab<0に対し、関係式a2+ab+b2=3からΔ(A4−A2,C−A2)=23>0である。よってA3=Cであり、A3=(63(a−b),−2a+b),A3B2=12(a−b)2+4(a+b)2=3a2+ab+b2=1.したがってA3B=1。
(2) (1)で得た関係式をbについて解くとb2+ab+(a2−3)=0,b=2−a±12−3a2.長さbは正であるから正の方の値を採用し、b=212−3a2−a.またa2+ab+b2=3とb>0から0<a<3である。
(3) Bは凸五角形の内部にあるので、その面積はBを頂点とする5個の三角形の面積の和である。座標でΔ((u1,u2),(v1,v2))=u1v2−u2v1とおけば、各面積はこの成分の積の差の絶対値の半分であり、[△BA1A2][△BA3A4][△BA5A1]=43a2,=123b(2a+b),=43ab.[△BA2A3][△BA4A5]=123a(a+2b),=43b2,したがってS=123(4a2+7ab+4b2)=123(4(a2+ab+b2)+3ab)=3(1+4ab).さらに3=a2+ab+b2≧3abであり、等号はa=bのときに限る。等号時は3a2=3、したがってa=b=1。ゆえにab≦1であり、Sの最大値はSmax=3(1+41)=453である。