(1) 点Aから点B,Cへ向かうベクトルは AB=(3,0,−3),AC=(1,2,−2) である。n=(a,1,c) が平面αに垂直だから、これら二つのベクトルと内積が0となり、 3a−3c=0,a+2−2c=0. 第1式からa=cであり、これを第2式に代入すると2−a=0となる。よって a=2,c=2.
(2) 平面αの法線ベクトルは(2,1,2)であり、点Aを通るので、平面の方程式は 2(x+1)+(y−1)+2(z−3)=0,すなわち2x+y+2z=5 である。垂線の足をH=P−λ(2,1,2)とおく。Hはα上にあるので、P=(5,3,5)を代入して (2,1,2)⋅((5,3,5)−λ(2,1,2))=5, 23−9λ=5,したがってλ=2. したがって H=(5,3,5)−2(2,1,2)=(1,1,1). 実際、2⋅1+1+2⋅1=5よりH は平面 α 上であり、PH=(−4,−2,−4)=−2(2,1,2)は平面の法線方向である。
(3) 点Dについても2⋅5+1+2(−3)=5だから、A,C,Dはすべてα上にある。したがって四面体QABC、RACDの高さは、それぞれ点Q,Rからこの平面までの距離である。∥(2,1,2)∥=3を用いると、 (2,1,2)⋅Q−5(2,1,2)⋅R−5=2(2t+5)+(t+3)+2(2t−4)−5=9t,=2(2u+3)+(u−1)+2(2u)−5=9u. t,u>0なので、高さはそれぞれ3t,3uである。
底面積を求める。二つのベクトルv,wが作る三角形の面積は、内積の式v⋅w=∥v∥∥w∥cosθとsin2θ+cos2θ=1から 21∥v∥2∥w∥2−(v⋅w)2 と表せる。ここで ∥AB∥2=18,∥AC∥2=9,AB⋅AC=9,∥AD∥2=72,AC⋅AD=18 より、 [ABC]=2118⋅9−92=29,[ACD]=219⋅72−182=9. よって四面体の体積は底面積と高さの積の31だから、体積比は Vol(QABC):Vol(RACD)=(31⋅29⋅3t):(31⋅9⋅3u)=t:2u.