三側面が一辺1の正方形なので、OC は底面に垂直で、∣OA∣=∣OB∣=∣OC∣=1。底面 OAB は一辺1の正三角形である。a=OA, b=OB, c=OC とおけば a⋅b=21,a⋅c=b⋅c=0,∣a∣=∣b∣=∣c∣=1. また OD=a+c, OE=b+c, OM=b+21c。AT:TD=t:(1−t) より OT=a+tc。
(1) OM⋅OT=(b+21c)⋅(a+tc)=21+2t=21+t.
(2) 三角形の面積と内積の関係から 4S2=∣OM∣2∣OT∣2−(OM⋅OT)2. ここで ∣OM∣2=5/4、∣OT∣2=1+t2 なので 4S2=45(1+t2)−(21+t)2=t2−21t+1=(t−41)2+1615. 許容範囲 0<t<1 に t=1/4 が含まれるから Smin=211615=815.
(3) 重心の位置ベクトルは OG=3OM+OT=31a+31b+3t+1/2c. 直線 EG 上の点を X=E+λ(G−E) とする。a,b,c は一次独立なので、X が直線 OA 上にある条件は b,c の係数がともに0となること。係数を比較すると 1−32λ=0,1+62t−5λ=0. 前式から λ=3/2、これを後式に代入して 2t−5=−4、よって t=1/2。このとき X=21a となり、実際に直線 OA 上にある。
単位正三角柱をベクトルで表し、内積・面積を計算する。面積の二乗を平方完成し、最後は重心と直線上の点の係数を比較して交点条件を解く。