立方体の3辺は互いに垂直で長さ1だから、a,c,d は互いに垂直な単位ベクトルである。座標を O=(0,0,0)、A=(1,0,0)、C=(0,1,0)、D=(0,0,1) とすれば、E=(1,0,1)、F=(1,1,1)、G=(0,1,1) となる。
L は AE の中点、M は CM:MG=3:1 だから OL=a+21d,OM=c+43d. したがって ∣OL∣=25,∣OM∣=45,OL⋅OM=83, cos∠LOM=(5/2)(5/4)3/8=553=2535. さらに S1=21∣OL∣2∣OM∣2−(OL⋅OM)2=2164125−9=829.
X=xa+yc+zd とすると、O,L,M を通る平面 T の方程式は 4z−2x−3y=0. 辺 EF 上では x=z=1 なので y=2/3、辺 GF 上では y=z=1 なので x=1/2。従って p=EFEP=32,q=GFGQ=21, OP=a+32c+d,OQ=21a+c+d.
(3) 点の位置ベクトルの差から LP=32c+21d,MQ=21a+41d. 平面 T 上の点は (x,y)⟼x(a+21d)+y(c+43d) と表せる。この2方向ベクトルを u,v とすると ∣u∣2=45,∣v∣2=1625,u⋅v=83, なので、(x,y) 平面上の面積から実際の平面面積への倍率は ∣u∣2∣v∣2−(u⋅v)2=429. (x,y) 平面上の五角形の頂点は順に (0,0),(1,0),(1,2/3),(1/2,1),(0,1) で、その面積は三角形 OLP,OPQ,OQM に分けて 21⋅32+21⋅32+21⋅21=1211. よって S2=1211⋅429=481129.
(4) 平面 T の法線方向は n=−2a−3c+4d である。垂足を H=D+tn とおき平面方程式に代入すると 29t+4=0、従って t=−4/29。よって OH=298a+2912c+2913d,∣DH∣=294. 五角錐の体積は V=31S2∣DH∣=31⋅481129⋅294=3611.