位置ベクトルをa,c,dの係数で表す座標で考える。a,c,dは互いに垂直で同じ長さなので、内積は係数の内積に辺の長さの2乗を掛けたものになる。以下ではこの共通因子を除いて計算する。各頂点および点をO=(0,0,0),A=(1,0,0),C=(0,1,0),B=(1,1,0),D=(0,0,1),P=(x,y,1),Q=(u,v,1)とおく。Q はDEFGを含む平面上にあるから、この表示ができる。
(1) 直線OPとBQの交点をRとし、OR=tOPとおく。Rは直線BQ上にもあるので、BからQへtだけ進んだ点としてR=(1−t)B+tQ=(1−t+tu, 1−t+tv, t)と表せる。もしt=0なら最初の式から0=1となるため、t=0。したがってtx=1−t+tu,ty=1−t+tv,よりu=x+1−t1,v=y+1−t1.方向ベクトルOP=(x,y,1)、BQ=(u−1,v−1,1)の内積が0であることから、0=x(u−1)+y(v−1)+1=x2+y2+1−tx+y.よってx+y=0ではこの等式を満たすtがなく、x+y=0のときt=x2+y2+1x+y.これをu,vに代入するとu=x+1−x+yx2+y2+1=x+yxy+x−y2+y−1,v=y+1−x+yx2+y2+1=x+y−x2+xy+x+y−1.逆にx+y=0ならこのt,u,vを定めることでRは両直線上にあり、上の内積も0となる。したがって条件はx+y=0であり、OQ=ua+vc+dを得る。
(2)Pが正方形DEFG内または辺上にあるので0≦x,y≦1。交点が存在する条件からx+y>0であり、上で得たtについてx2+y2+1−(x+y)=(x−21)2+(y−21)2+21>0だから0<t<1。よって0≦tx,ty≦t<1であり、R=(tx,ty,t)の3座標はいずれも0以上1以下である。したがってRは立方体の内部または面上にある。
(3)P,Qがともに正方形内または辺上にあるためには0≦x,y≦1に加えて0≦u,v≦1が必要十分である。T=x+y>0、S=x2+y2+1とおくとu=x+1−S/T, v=y+1−S/T。またS−xT=1+y2−xy≧1+y2−y=(y−21)2+43>0,S−yT=1+x2−xy≧1+x2−x=(x−21)2+43>0なのでu<1,v<1は常に成り立つ。したがって残る条件はu≧0すなわち(x+1)(x+y)−S=xy+x−y2+y−1≧0, v≧0すなわち(y+1)(x+y)−S=xy−x2+x+y−1≧0.分母x+1,y+1は正だから、求める領域は0≦x,y≦1,x≧y+1y2−y+1,y≧x+1x2−x+1.したがって、単位正方形内でこの2不等式をともに満たす部分を、境界を含めて図示すればよい。境界はx=(y2−y+1)/(y+1)の1/2≦y≦1の弧((1/2,1/2)から(1/2,1)まで)、y=(x2−x+1)/(x+1)の1/2≦x≦1の弧((1/2,1/2)から(1,1/2)まで)、および正方形の上辺・右辺である。これらに囲まれる領域を塗ればよい。