まず、三角形 ABC が退化しないので、三角不等式から 2<t<4 である。∠ABC=B とおくと、余弦定理より cosB=2⋅3⋅132+12−t2=610−t2,sinB=6(t2−4)(16−t2).
(1) 正弦定理から、外接円の半径 R は R=2sinBt=(t2−4)(16−t2)3t. その平方を変形すると R2=20−t2−64/t29. 相加相乗平均より t2+64/t2≧16 であるから、分母は高々 4、よって R≧23。等号は t2=8、すなわち t=22 のときに成立する。
四角形 ABCD が円に内接するとし、AD=d とおく。円に内接する四角形の対角は補角だから、∠ADC=π−B である。三角形 ACD に余弦定理を用いると t2=d2+4−4dcos(π−B)=d2+4+4dcosB. 先の cosB を代入して整理すれば 3d2+(20−2t2)d+12−3t2=0. この二次方程式の根の積は 4−t2<0 なので正の根だけを採る。したがって AD=d=3t2−10+t4−11t2+64.
(2) 三角形 ABC の面積を K とすると、K=21⋅3⋅1sinB=41(t2−4)(16−t2)。半周長は (t+4)/2 だから、内接円の半径は (t+4)/2K=2(t+4)(t2−4)(16−t2).
(3) 共通の円に接する四角形では、各頂点から円に引いた2本の接線の長さが等しい。したがって向かい合う辺の和が等しく、AB+CD=BC+AD。よって AD=3+2−1=4 である。
四角形は接円をもつので凸であり、対角線 AC で分けた2三角形の面積の和が四角形の面積である。三角形 ACD の面積は、余弦定理と 21absinC を用いて 41(t2−4)(36−t2) となる。したがって四角形の面積は 4t2−4(16−t2+36−t2). 四辺の長さの和は 10 であり、面積は内接円の半径 ρ と半周長 5 の積なので ρ=20t2−4(16−t2+36−t2). これを最大にする t を求める。x=t2 とおくと 4<x<16 であり、 ρ′(x)=40x−416−x+36−x(1−(16−x)(36−x)x−4). 括弧内の符号は (16−x)(36−x)−(x−4) の符号と同じである。前者は x とともに減少し、後者は増加するので、導関数はただ1度だけ正から負に変わる。その点は (16−x)(36−x)=(x−4)2よりx=11140. これは 4<x<16 にあり、導関数の符号はこの点の前で正、その後で負となる。よって最大点は t=11140 である。このとき x−4=1196、16−x=1136、36−x=11256 だから、最大半径は 526 となる。この最大値が実現することを、接する円を具体的に示して確かめる。 A=(0,0),B=(3,0),C=(1138,1146),D=(720,786),I=(512,526) とおく。距離公式から AB=3, BC=1, CD=2, DA=4、 AC2=140/11 である。直線 AC に対して B,D は反対側にあり、隣接する辺の向きの変化はすべて同じ向きなので、この四角形は凸である。 辺 AB,BC,CD,DA への I からの垂線の足をそれぞれ E,F,G,H とする。内積による射影を計算すると AE=AH=512,BE=BF=53,CF=CG=52,DG=DH=58. これらはいずれも正であり、それぞれの辺の長さより小さいので、足はすべて辺の内部にある。また距離公式から IE=IF=IG=IH=526 となる。I は四辺それぞれの内側にあるので、中心 I、半径 26/5 の円は四角形の内部にあり、四辺に接する。したがって t=140/11 は実現可能であり、求めた上界は実際の最大値である。