θ=∠AOB とおくと、α<θ<π/2 であり、余弦はこの範囲で減少する。したがって 0=cos2π<x=cosθ<cosα=32. よって ア=0, イ=2/3 である。
u=OA, v=OB とし、 OH=su+tv とおく。∣u∣=2, ∣v∣=3, u⋅v=6x である。AH⊥OB、BH⊥OA より (su+(tv)−u)⋅v=0,(su+tv−v)⋅u=0, すなわち 4s+6xt=6x,6xs+9t=6x. 第一式から s=23x(1−t) となる。これを第二式に代入すると 3(1−x2)t=x(2−3x) を得る。ここで 0<x<2/3<1 より 1−x2=0 だから、 t=3(1−x2)x(2−3x),s=2(1−x2)x(3−2x). 従って OH=2(1−x2)x(3−2x)OA+3(1−x2)x(2−3x)OB. よって ウ=3,エ=2,オ=2,カ=2,キ=3,ク=3 である。
三角形 HAB について、AH=(s−1)u+tv、AB=−u+v である。座標を O=(0,0), A=(2,0), B=(3x,31−x2) と置くと、H=(2s+3xt,3t1−x2) となる。座標による三角形の面積公式から S(x)=21(2s+3xt−2)31−x2−3t1−x2(3x−2)=31−x2∣s+t−1∣. ここで s+t−1=6(1−x2)13x−6x2−6. また 6x2−13x+6=(3x−2)(2x−3)>0(0<x<2/3) なので s+t−1<0。従って S(x)=21−x26x2−13x+6. よって ケ=6,コ=13,サ=6,シ=2 である。
最後に、この式を微分すると S′(x)=2(1−x2)3/218x−13−6x3. 分子 g(x)=18x−13−6x3 について g′(x)=18(1−x2)>0(0<x<2/3) であるから g は増加する。一方、g(2/3)=−25/9<0 なので、区間全体で g(x)<0。分母は正であるから S′(x)<0 となり、S(x) は単調に減少する。従って ス は(い)である。