$y = x^2 \qquad (P)$
$y = 2(m+1)x - m^2 - 3m - 2\quad (d)$
a) Phương trình hoành độ giao điểm giữa $(P)$ và $(d)$
$\quad x^2 = 2(m+1)x - m^2 - 3m - 2$
$\Leftrightarrow x^2 - 2(m+1)x + m^2 + 3m + 2=0\qquad (*)$
$(d)$ cắt $(P)$ tại hai điểm phân biệt
$\Leftrightarrow \Delta_{(*)}' >0$
$\Leftrightarrow (m+1)^2 - (m^2 + 3m + 2) >0$
$\Leftrightarrow -m -1 >0$
$\Leftrightarrow m < -1$
b) Với $x_1,\ x_2$ là hai hoành độ giao điểm của $(d)$ và $(P)$
$\Rightarrow x_1,\ x_2$ là nghiệm của $(*)$
Áp dụng định lý Viète ta được:
$\begin{cases}x_1 + x_2 = 2(m+1)\\x_1x_2 = m^2 + 3m + 2\end{cases}$
Theo đề ta có:
$\quad x_1^2 + x_2^2 = 12$
$\Leftrightarrow (x_1 + x_2)^2 - 2x_1x_2 = 12$
$\Leftrightarrow 4(m+1)^2 - 2(m^2 + 3m + 2) = 12$
$\Leftrightarrow m^2 + m -6 =0$
$\Leftrightarrow \left[\begin{array}{l} m= 2\qquad (loại)\\m = -3\quad (nhận)\end{array}\right.$
Vậy $m = -3$
