(1) 座標から OP=2,OQ=x2+x−2,PQ2=(x−1)2+(x−1−1)2 である。余弦定理より 2OP⋅OQcosθ=OP2+OQ2−PQ2=2(x+x1), したがって cosθ=2x2+x−2x+x−1. 二倍角の公式を用いると cos2θ=2cos2θ−1=x2+x−2(x+x−1)2−1=x2+x−22. 0<θ<π/4 だから cos2θ>0 であり、 x2+x21=cos2θ2 を得る。
(2) K=2/cos2θ とおくと K>2 である。u=x2>0 と置けば、(1)は u2−Ku+1=0 となる。この判別式は K2−4>0、また2根の積は 1、和は K>0 なので、異なる正の根 u−,u+ がちょうど2つある。よって候補となる正の x は x=u−,u+ の2つである。
逆に、この二次方程式の根から得た x について φ=∠POQ とする。P,Q はともに第1象限にあるため 0≦φ<π/4 であり、u=1 は K>2 のもとで方程式の根でないから φ>0 である。(1)と同じ計算を φ に適用すると cos2φ=x2+x−22=cos2θ. 0<2φ<π/2, 0<2θ<π/2 で余弦は単調減少するので φ=θ。したがって、もとの条件を満たす点 Q はちょうど2個である。
θ=π/6 では K=4 となり、 x12=2−3,x22=2+3,x1x2=1(x1<x2). ゆえに Q1=(x1,x2)、Q2=(x2,x1) であり、 Q1Q2=2(x2−x1)2=2{(x12+x22)−2x1x2}=2(4−2)=2.
(3) 一般の 0<θ<π/4 でも、(2)の二根の積から x1x2=1 である。x1<x2 より x1<1<x2。したがって直線 OQ1 の傾きは 1/x12>1、直線 OQ2 の傾きは 1/x22<1 である。OP の方向角は π/4 なので、Q1,Q2 への方向角をそれぞれ α1,α2 とすると α1=4π+θ,α2=4π−θ,α1−α2=2θ<2π. 原点中心の正六角形では、頂点への方向の最小角差は π/3,2π/3,π のいずれかである。上の角差は π/2 未満だから 2θ=π/3、すなわち θ=π/6 となる。
このとき α2=π/12, α1=5π/12。また、(1)から OQ12=x12+x1−2=cos(π/3)2=4 なので正六角形の外接円の半径は 2 である。既知の頂点 Q2,Q1,Q4,Q3 の方向は順に π/12,5π/12,13π/12,17π/12 であり、残る方向は 3π/4 と 7π/4。a1<0<b1 より A=(2cos(3π/4),2sin(3π/4))=(−2,2),B=(2cos(7π/4),2sin(7π/4))=(2,−2).