a) kết quả: m < -1
b) Với m < -1; ta có hệ thức Vi - ét: $\left \{ {{x1+x2=2(m+1)} \atop {x1.x2=m²+3m+2}} \right.$
Theo đề bài, ta có:
x1² + x2² = 12
<=> x1² + 2.x1.x2 + x2² - 2.x1.x2 = 12
<=> (x1 + x2)² - 2x1x2 = 12
<=> 4(m + 1)² - 2(m² + 3m + 2) = 12
<=> 4m² + 8m + 4 - 2m² - 6m - 4 - 12 = 0
<=> 2m² + 2m - 12 = 0
<=> m² + m - 6 = 0
<=> (m - 2)(m + 3) = 0
<=> \(\left[ \begin{array}{l}m=2(KTM m < -1)\\m=-3\end{array} \right.\)
Vậy m = -3 thì PT có 2 nghiệm PB thỏa mãn đẳng thức đã cho