Giải thích các bước giải:
Để phương trình có $2$ nghiệm
$\to \Delta'\ge 0$
$\to (m+3)^2- 1(m^2-3m+1)\ge 0$
$\to m\ge-\dfrac89$
Khi đso phương trình có $2$ nghiệm $x_1, x_2$ thỏa mãn:
$\begin{cases}x_1+x_2=-2(m+3)\\x_1x_2=m^2-3m+1\end{cases}$
Để $(x_1+x_2)(x_1x_2+1)<0$
$\to -2(m+3)(m^2-3m+1+1)<0$
$\to (m+3)(m^2-3m+2)>0$
$\to (m+3)(m-1)(m-2)>0$
Mà $m\ge -\dfrac89$
$\to m+3>0$
$\to (m-1)(m-2)>0$
$\to m>2$ hoặc $m<1$
Kết hợp $m\ge-\dfrac89$
$\to -\dfrac89\le m<1$ hoặc $m>2$
Ta có:
$A=x_1(x_2-1)-x_2$
$\to A=x_1x_2-(x_1+x_2)$
$\to A=m^2-3m+1+2(m+3)$
$\to A=m^2-m+7$
$\to A=(m-\dfrac12)^2+\dfrac{27}{4}\ge\dfrac{27}{4}$
Dấu = xảy ra khi $m=\dfrac12$
Hàm số không có giá trị lớn nhất