Lời giải
Để phương trình có nghiệm thì $Δ>0$
$⇔ (-2m-2)^2-4m^2-4 > 0$
$⇔ (-2m-2)^2-4m^2 > 4$
$⇔ (-6m-2)(2m-2) > 4$
$⇔ -12m^2+12m-4m+4-4>0$
$⇔ m > -1$
Áp dụng định lý Vi-et có: $\begin{cases}x_1+x_2=2m+2\\x_1x_2=m^2-1\end{cases}$
Khi đó:
$\sqrt{x_1^2+(2m+2)x_2+m^2-1}=m-3$
$⇔ \sqrt{x_1^2+(x_1+x_2)x_2+x_1x_2}=m-3$
$⇔ \sqrt{x_1^2+2x_1x_2+x_2^2}=m-3$
$⇔ \sqrt{(x_1+x_2)^2}=m-3$
$⇔ |x_1+x_2|=m-3$
\(⇔ \left[ \begin{array}{l}x_1+x_2=m-3\\x_1+x_2=-m+3\end{array} \right.\)
\(⇔ \left[ \begin{array}{l}2m+2=m-3\\2m+2=-m+3\end{array} \right.\)
\(⇔ \left[ \begin{array}{l}m=-5\\m=\dfrac{1}{3}\end{array} \right.\) (không thỏa mãn)
Vậy không có giá trị nào của $m$ để thỏa mãn
