e1 を BA 方向の単位ベクトル、e2 を BC 方向の単位ベクトルとする。e1⋅e2=cos2θ で、点を αe1+βe2 の座標 (α,β) で表すと、B=(0,0),A=(x,0),C=(0,y),D=(x,y)。平行四辺形は 0≦α≦x, 0≦β≦y である。
内角二等分線は ℓB:α=β,ℓA:α+β=x,ℓC:α+β=y,ℓD:α−β=x−y. 従って E=(x/2,x/2),F=(y/2,y/2),G=(x/2,y−x/2),H=(x−y/2,y/2).
(1) d=y−x>0 とおくと EF=2d(e1+e2),EH=2d(−e1+e2). 内積は零なので ∠FEH=π/2。
(2) A=(x,0) からE,Hへのベクトルはそれぞれ AE=2x(−e1+e2),AH=2y(−e1+e2). ∣−e1+e2∣=2sinθ より AE=xsinθ,AH=ysinθ.
(3) Hの座標は (x−y/2,y/2)。第2座標は辺の範囲内で、第1座標が負となるのは y>2x のときである。ゆえにHが平行四辺形の外部にある条件は y>2x。
(4) EFGHは長方形で、隣辺の長さは EF=2y−x∣e1+e2∣=(y−x)cosθ,EH=2y−x∣−e1+e2∣=(y−x)sinθ. したがって長方形の面積は 2(y−x)2sin2θ。
y≦2x なら四頂点E,F,G,Hは平行四辺形内にあり、長方形全体が含まれるので S=2(y−x)2sin2θ. y>2x ではH,F側の二つの角が外に出る。それぞれの外側三角形の直角をなす辺の長さは (y−2x)sinθ と (y−2x)cosθ だから、二つの面積の合計は 2(y−2x)2sin2θ。よって S=2(y−x)2−(y−2x)2sin2θ=2x(2y−3x)sin2θ.
隣接辺方向を単位ベクトルに取り、内角二等分線を二つの座標の和・差が一定の直線として表す。交点の座標から直角・長さ・Hの位置を求める。重なり面積は、まず長方形EFGHの面積を出し、H,Fが辺を越える場合にだけ出る二つの対称な直角三角形を差し引く。