Lời giải:
Để pt có hai nghiệm phân biệt thì \(\Delta'=(m-1)^2-(m^2-3)>0\)
\(\Leftrightarrow 4-2m>0\Leftrightarrow m< 2\)
Khi đó áp dụng định lý Viete về pt bậc 2: \(\left\{\begin{matrix} x_1+x_2=2(m-1)\\ x_1x_2=m^2-3\end{matrix}\right.(*)\)
a) \(x_1-x_2=2\Rightarrow (x_1-x_2)^2=4\)
\(\Leftrightarrow x_1^2+x_2^2-2x_1x_2=4\Leftrightarrow x_1^2+x_2^2+2x_1x_2-4x_1x_2=4\)
\(\Leftrightarrow (x_1+x_2)^2-4x_1x_2=4\)
\(\Leftrightarrow 4(m-1)^2-4(m^2-3)=4\)
\(\Leftrightarrow 8m=12\Leftrightarrow m=\frac{3}{2}\) (thỏa mãn)
b) \(x_1x_2-x_1-x_2=11\)
\(\Leftrightarrow x_1x_2-(x_1+x_2)=11\)
\(\Leftrightarrow m^2-3-2(m-1)=11\)
\(\Leftrightarrow m^2-2m-12=0\Leftrightarrow \left[\begin{matrix} m=1+\sqrt{13}\\ m=1-\sqrt{13}\end{matrix}\right.\)
Vì \(m<2\Rightarrow m=1-\sqrt{13}\)
c)Ta có: \(\left\{\begin{matrix} x_1+x_2=2(m-1)\\ x_1x_2=m^2-3\end{matrix}\right.\)
\(\Rightarrow \left\{\begin{matrix} x_1+x_2+2=2m\\ x_1x_2+3=m^2\end{matrix}\right.\)
Suy ra \( (x_1+x_2+2)^2=4(x_1x_2+3)(=4m^2)\)
\(\Leftrightarrow x_1^2+x_2^2+4+2x_1x_2+4(x_1+x_2)=4x_1x_2+12\)
\(\Leftrightarrow x_1^2+x_2^2-2x_1x_2+4(x_1+x_2)-8=0\)
Đây chính là biểu thức (không phụ thuộc m) cần tìm.