(1) B=∠ABC、D=∠ADC とおく。円に内接する四角形なので D=π−B である。余弦定理より cosB=2⋅3⋅532+52−(36)2=−32,cosD=−cosB=32. 三角形 ADC に余弦定理を用いると 54=(12−x)2+x2−34x(12−x), すなわち x2−12x+27=0。よって x=3,9 である。いずれも三角形 ADC の辺の差は 6<36、辺の和は 12>36 なので成立する。
(2) t=AC、q=x(12−x)、u=(x−6)2 とおく。辺の長さから 0<x<12 であり、u<36 なので 51−u>0 である。また x2+(12−x)2=72+2u,q=36−u. cosD=−cosB と余弦定理を用いると t2=34−30cosB,t2=72+2u+2(36−u)cosB. これらを整理して t2=30+2(36−u)30(72+2u)+68(36−u)=51−u4(576−u). 実際に四角形が存在すれば三角形 ABC は非退化だから t<3+5=8 である。上式と 51−u>0 から 51−u4(576−u)<64よりu<16, すなわち 2<x<10 が必要である。 逆に 2<x<10 なら 0≦u<16 である。このとき t2>4,t2<64,t2−4u=51−u4(u−16)(u−36)>0. よって 2<t<8 かつ 2u<t<12 となり、辺 3,5,t の三角形 ABC と辺 x,12−x,t の三角形 ADC がともに作れる。さらに上の t2 の式は 2(36−u)(34−t2)+30(72+2u−t2)=0 を満たすため、これらの三角形の角 B,D は cosD=−cosB を満たす。両角は 0 と π の間だから B+D=π となり、対角の和が π の四角形を作れる。したがって範囲は 2<x<10.
(3) q=x(12−x) とおく。余弦定理の2式から (30+2q)cosB=34−{x2+(12−x)2}=2q−110, したがって cosB=q+15q−55,sinB=q+15140(q−20). ここで 2<x<10 より q−20=(10−x)(x−2)>0 であり、B は三角形の内角なので正の平方根をとる。四角形の面積を S とすると、対角 B,D が補角であることから S=21{3⋅5+x(12−x)}sinB=21(q+15)q+15140(q−20)=35(q−20)=35{16−(x−6)2}≦435. 等号は x=6 のとき成立し、これは (2) の範囲内である。よって最大値は 435.
(4) 各頂点から円への接線の長さをそれぞれ rA,rB,rC,rD とする。 同じ点から円に引いた接線の長さは等しいので AB=rA+rB,BC=rB+rC,CD=rC+rD,DA=rD+rA. したがって AB+CD=BC+DA であり、 3+x=5+(12−x) から x=7 を得る。 この値は実現できる。h=21 とし、A=(−23,0)、B=(23,0)、C=(27,h)、D=(−27,h) とすれば、AB=3,BC=DA=5,CD=7 の二等辺台形になる。これは円に内接する。点 I=(0,h/2) を中心とする半径 h/2 の円は2底辺に接する。右脚 BC の直線は h(x−23)−2y=0 であり、I からこの直線までの距離は h2+4∣−23h−h∣=55h/2=2h. 左脚にも対称性により同じ距離だけ離れているので、この円は4辺すべてに接する。