(1) t=2sinx+cosx=sin(x+4π) とおくと、t は−1≦t≦1 のすべての値をとり、 sinxcosx=t2−21 である。したがって求める条件は f(t)=2bt2−at−b−2≦0(−1≦t≦1)(1) である。まず t=0,±1 を代入して、必要条件 b≧−2,∣a∣≦2−b(2) を得る。特に b≦2 である。
b≧0 の場合、二次関数(b=0 では一次関数)の最大値は端点でとるので、(2)だけで十分である。
b<0 の場合、平方完成すると f(t)=2b(t−4ba)2−8ba2−b−2. 頂点が区間内にある条件は ∣a∣≦−4b である。この場合、最大値が 0 以下となる条件は a2≦−8b(b+2),すなわち8a2+(b+1)2≦1.(3) 頂点が区間外なら最大値は端点でとるので、条件は (2) となる。
これを b の範囲ごとに整理する。 −2≦b<−32 では 2−b<−4b なので、(2)を満たせば必ず頂点が区間内にある。 また (3) から (2) が従う。実際、2−b>0 で、 (2−b)2−{−8b(b+2)}=(3b+2)2≧0 だからである。 一方、−32≦b<0 では、頂点が区間内にあるときも ∣a∣≦−4b より −8ba2−b−2≦−3b−2≦0 となるため、端点条件 (2) だけで十分である。 以上より、D は次のいずれかの条件を満たす点 (a,b) 全体である。 −2≦b≦−32,8a2+(b+1)2≦1,または−32≦b≦2,∣a∣≦2−b. b=−32 では両方の条件が ∣a∣≦38 に一致する。 図の着色部分が D であり、境界をすべて含む。 境界は (0,2) と (−38,−32),(38,−32) を結ぶ二線分、および楕円 8a2+(b+1)2=1 の b≦−32 の弧である。
(2) (1)より、楕円内の部分では ∣a∣≦22、残りの部分では ∣a∣≦38<22 である。 したがって a+4≧4−22>0 である。
まず b≦2−∣a∣ より 3(a+4)−4(b+1)=3a−4b+8≧3a+4∣a∣≧0. よって a+4b+1≦43 であり、等号は a=0,b=2 のときに成立する。この点は D に含まれる。
下限について、b≧−1 なら比は非負である。 b<−1 なら (1) の楕円内の部分にあるので、8(b+1)2≦8−a2 であり、 (a+4)2−8(b+1)2≧(a+4)2−(8−a2)=2(a+2)2≧0. a+4>0 と b+1<0 に注意すると a+4≧−22(b+1),a+4b+1≧−221=−42. 等号は a=−2 かつ楕円上にあるとき、すなわち (a,b)=(−2,−1−21) で成立する。この点は b<−1 を満たす楕円上の点なので D に含まれる。
また、各 t に対する (1) は a,b の一次不等式であるから、D の二点を結ぶ線分も D に含まれる。 上記の最小点と最大点を結ぶ線分上で比は連続であり、その間のすべての値をとる。 したがって求める範囲および空欄は −42≦a+4b+1≦43,カ=−42,キ=43.