球面の式を平方完成すると (x−2)2+(y+1)2+z2=14 となる。中心を O(2,−1,0)、半径を 14 とする。
(1) 直線 ℓ 上の点を P(t)=(3+t,4+t,6+2t) とおく。これを球面の式に代入すると (3+t)2+(4+t)2+(6+2t)2−4(3+t)+2(4+t)−9=0, すなわち 6t2+36t+48=0、したがって (t+2)(t+4)=0 である。よって t=−4,−2。それぞれの点は (−1,0,−2)、(1,2,2) で、前者の x 座標は負、後者は正だから、B=(−1,0,−2), C=(1,2,2) である。
(2) AB=(−4,−2,0)、AC=(−2,0,4) とする。平面 ABC の法線ベクトルを n=(p,q,r) とすると、内積がともに 0 なので −4p−2q=0,−2p+4r=0. ここで p=−2 とすれば q=4, r=−1 となり、n=(−2,4,−1) を得る。このベクトルの長さは 4+16+1=21 で、y 成分は正である。したがって求める単位ベクトルは 211(−2,4,−1) である。
(3) 平面 ABC の方程式は、法線ベクトルと点 A を用いて −2x+4y−z=−2⋅3+4⋅2−(−2)=4 と表せる。外心 J=(x,y,z) はこの平面上にあり、JA=JB=JC を満たす。平方距離を比較すると、∣JA∣2=∣JB∣2 から 2x+y=3、∣JA∣2=∣JC∣2 から x−2z=2 を得る。これらと −2x+4y−z=4 を解くと x=76,y=79,z=−74. 実際、 ∣JA∣2=∣JB∣2=∣JC∣2=750 となるので、J=(76,79,−74) である。
(4) まず三角形 ABC の面積を求める。∣AB∣=∣AC∣=25、また AB⋅AC=8 だから、A の角を θ とすれば cosθ=(25)(25)8=52。よって sinθ=521 であり、 [ABC]=21∣AB∣∣AC∣sinθ=221. 平面の法線ベクトルは n=(−2,4,−1)、その長さは 21 である。中心 O から平面 −2x+4y−z=4 までの距離は 21∣(−2)⋅2+4⋅(−1)−0−4∣=2112. 球面上の点 D を D=O+u、∣u∣=14 と書くと、平面からの符号付き距離は 21−12+n⋅u. 内積の絶対値は ∣n⋅u∣≦2114 だから、平面からの距離の最大値は 2112+14 である。この値は u=−2114n のときに実現し、この点は平面上にない。よって四面体の体積の最大値は 31⋅221(14+2112)=8+3146.