(1)
3点 P,Q,R が一直線上にあると仮定する。P=Q であるから,点 R が直線 PQ 上にあることは, ある実数 t を用いて PR=tPQ と表せることと同値である。ここで PQ=Q−P=(2,0,2),PR=R−P=(a+1, a2−1, a3+1) であるから,成分を比較すると a+1=2t,a2−1=0,a3+1=2t を満たす実数 t が存在することになる。第2式より a2=1,すなわち a=1 または a=−1 である。
しかしこれは仮定 a=−1, a=1 に反する。よって上のような実数 t は存在せず, 3点 P,Q,R は一直線上にない。(証明終)
(2)
(1)より,−1<a<1 の範囲では常に P,Q,R は一直線上になく,三角形 PQR が定まる。 PQ=(2,0,2),PR=(a+1, a2−1, a3+1) とし, θ を PQ と PR のなす角(0<θ<π)とすると,三角形 PQR の面積 S は S=21∣PQ∣∣PR∣sinθ で与えられる。0<θ<π より sinθ>0 であるから,sin2θ=1−cos2θ と cosθ=∣PQ∣∣PR∣PQ⋅PR を用いると S2=41∣PQ∣2∣PR∣2sin2θ=41(∣PQ∣2∣PR∣2−(PQ⋅PR)2) が成り立つ。
ここで ∣PQ∣2=22+02+22=8, ∣PR∣2=(a+1)2+(a2−1)2+(a3+1)2=a6+a4+2a3−a2+2a+3, PQ⋅PR=2(a+1)+0⋅(a2−1)+2(a3+1)=2a3+2a+4=2(a3+a+2) であるから, ∣PQ∣2∣PR∣2−(PQ⋅PR)2=8(a6+a4+2a3−a2+2a+3)−4(a3+a+2)2=4a6−12a2+8 となり, S2=a6−3a2+2.
右辺は t=a2 の3次式として因数分解でき, a6−3a2+2=(a2−1)(a4+a2−2)=(a2−1)2(a2+2)=(1−a2)2(a2+2) であり,−1<a<1 では 1−a2>0 なので S=(1−a2)a2+2.
S は a2 のみで決まるので,t=a2 (0≦t<1) とおいて φ(t)=S2=(1−t)2(t+2)=t3−3t+2 の最大値を調べればよい(S≧0 なので S2 の最大と S の最大は同じ t で達成される)。
φ′(t)=3t2−3=3(t−1)(t+1)
であり,0≦t<1 では t−1<0, t+1>0 より常に φ′(t)<0 となるから,φ(t) は 0≦t<1 の範囲で単調に減少する。ゆえに φ(t) は左端 t=0(すなわち a=0)で最大値 φ(0)=2 をとり,0<t<1 ではこれより小さい。
a=0 は −1<a<1 に含まれるから,このとき最大値が実際に達成され, Smax=φ(0)=2 である。(検算:a=0 のとき R=(0,0,0) で PQ=(2,0,2),PR=(1,−1,1) より ∣PQ∣2=8, ∣PR∣2=3, PQ⋅PR=4 なので S2=41(8⋅3−42)=41⋅8=2,S=2 となり一致する。)
以上より,三角形 PQR の面積の最大値は 2 であり,これは a=0 のとき達成される。
(1) 共線なら PR が PQ の実数倍となる。PQ の第2成分は0なので a2−1=0 となり、除外条件に反する。(2) 余弦定理から面積の二乗を内積で表して因数分解する。t=a2 と置いた式は 0≦t<1 で減少するため、a=0 で最大値 2 を得る。