直線ℓとmの傾きはそれぞれa,bである。両直線は直交するからab=−1であり、a=0、b=−1/aとなる。
(問1) 交点P=(x,y)について、二つの直線の式を等しくすると (a−b)x=a+3b+2. したがって x=a−ba+2+3b=a2+1a2+2a−3,y=ax−a−2=a2+1−4a−2. ここで u=a2+1a2−1,v=a2+12a とおけばu2+v2=1であり、上の座標式からx+1=2u+v、y+1=u−2vを得る。よって (x+1)2+(y+1)2=(2u+v)2+(u−2v)2=5(u2+v2)=5. また、実数aが有限値をとるとき(u,v)=(1,0)にはならず、a=0より(u,v)=(−1,0)にもならない。逆に単位円上のこの二点以外ではa=v/(1−u)が有限かつ非零の実数となるので、円周上の全ての対応点が得られる。二点を(x,y)に戻すと、それぞれ(1,0)、(−3,−2)である。したがって軌跡は中心(−1,−1)、半径5の円周からこの二点を除いたもの。
(問2) 点A(1,−2)は直線ℓ上にある。座標式から x−1=a2+12(a−2),y+2=a2+12a(a−2), なので、距離の公式より AP=(x−1)2+(y+2)2=a2+12∣a−2∣. また、点B(−3,0)は直線m上にあり、 x+3=a2+12a(2a+1),y=−a2+12(2a+1). よって BP=(x+3)2+y2=a2+12∣2a+1∣.
(問3) APはℓ上、BPはm上にあるためAP⊥BP。三角形の面積Sは S=21AP⋅BP=a2+12∣(a−2)(2a+1)∣. 分母は正であり、 5(a2+1)−2(2a2−3a−2)=(a+3)2≧0,5(a2+1)+2(2a2−3a−2)=(3a−1)2≧0 だから2∣2a2−3a−2∣≦5(a2+1)。したがってS≦5。第一の等号はa=−3、第二の等号はa=1/3のとき成立し、どちらもa=0を満たす。ゆえに面積が最大となるのはa=−3,1/3のときである。