(1) 回転後の座標を (X,Y) とする。原点中心に反時計回りに 30∘ 回転するので X=23x−21y,Y=21x+23y, したがって x=23X+21Y,y=−21X+23Y. これを元の式に代入すると、交差項の係数は 0 となり、 5x2+23xy+7y2=4X2+8Y2. よって回転後の曲線は 4X2+8Y2=16、すなわち 4X2+2Y2=1 である。したがって (あ)=4, (い)=2。
(2) 四角形は凸なので、対角線 AC で二つの三角形に分かれ、その面積の和が S である。三角形 ABC の三辺は 1,2,x であるから、三角不等式より 1<x<3、したがって 1<t<9 である。三角形 ADC の三辺は 4,3,x であり、この範囲では三角形が成立する。
三辺が a,b,c の三角形の面積を K とすると、余弦定理と K=21absinC から 16K2=4a2b2−(a2+b2−c2)2=(a+b+c)(−a+b+c)(a−b+c)(a+b−c) を得る。これを二つの三角形に用いると KABC=41(t−1)(9−t),KADC=41(t−1)(49−t). したがって S(t)=41((t−1)(9−t)+(t−1)(49−t))=4t−1(9−t+49−t), これが (う) に入る式である。
1<t<9 で微分すると S′(t)=4t−11(9−t5−t+49−t25−t). 1<t≦5 では S′(t)>0。5<t<9 では S′(t)=0 は 9−tt−5=49−t25−t と同値である。ここで L(t)=9−tt−5,R(t)=49−t25−t とおく。5<t<9 では L′(t)=2(9−t)3/213−t>0,R′(t)=2(49−t)3/2t−73<0 である。分母は正で、13−t>0, t−73<0 だから、L は単調増加、R は単調減少し、L(t)=R(t) は高々1つの解しかもたない。両辺を二乗した式 (t−5)2(49−t)=(25−t)2(9−t) を満たす t=755 は (5,9) にあり、正の両辺を比較しても上の等式を満たす。したがって唯一の交点は t=755 である。5<t<9 では S′(t) の符号は R(t)−L(t) の符号と一致するので、5<t<755 で正、755<t<9 で負となる。1<t≦5 でも S′(t)>0 だから、S(t) は t=755 まで増加し、その後減少する。よってこの区間では S(t) は t=755 で最大となる。この値が凸な四角形で実現することを確かめる。t=755 とおくと 1<x=t<3 であり、辺長 (1,2,x) の三角形 ABC と辺長 (4,3,x) の三角形 ADC は、いずれも三角不等式を満たす。これらを共通辺 AC の反対側に置く。
頂点 A における二つの三角形の角を U=∠BAC、V=∠CAD とする。余弦定理から cosU+cosV=2tt−3+8tt+7=8t5t−5>0. 同様に、C における角を W=∠BCA、Z=∠ACD とすると cosW+cosZ=4tt+3+6tt−7=12t5t−5>0. 各角は 0 と π の間であり、恒等式 cosu+cosv=2cos2u+vcos2u−v において cos2u−v>0 である。従って上の正の和から U+V<π および W+Z<π が従う。構成した四角形は自己交差せず、A,Cの内角も π 未満で、B,Dの内角は三角形の内角なので π 未満である。よってこれは条件を満たす凸四角形であり、最大値は実現する。したがって (え)=755。このとき S=26 である。
(3) x≦1 または x≧4 では曲線は y=21(x2−5x+4) である。直線との交点は x2−(5+2k)x+4=0 を満たす。この二次式は x=0 で正、x=1 で負となり、また x=4 で負、x を大きくすると正になる。二次式の根は高々二つなので、外側の二つの枝に交点がそれぞれ一つずつある。共有点が全部で三つとなるには、中央の枝でただ一つの交点をもつ必要がある。
中央 1≦x≦4 では y=21(−x2+5x−4) であり、交点の x 座標は x2−(5−2k)x+4=0 の解である。ここで qk(x)=x2−(5−2k)x+4 とおく。k>0 より qk(1)=2k>0,qk(4)=8k>0. したがって両端は交点ではない。中央の枝に交点が一つだけあり、その根が単根なら、そこで二次式の符号が変わるため両端で正であることに矛盾する。よってその交点は重解である。逆に重解が 1<x<4 にあれば中央の交点は一つだけとなる。判別式より (5−2k)2−16=0。候補は k=21,29 だが、後者の重解は x=−2 で中央の範囲外である。よって k=21、重解は x=2 である。外側の交点は x=3±5 で、前者は 1 未満、後者は 4 より大きい。したがって (お)=21。
直線は三交点の間で曲線より上にある。a=3−5, c=3+5 とすると、囲まれた部分の面積は ∫a12−x2+6x−4dx+∫142(x−2)2dx+∫4c2−x2+6x−4dx=355−11+23+355−7=6205−27. ゆえに (か)=6205−27。