Xét ptrinh
$x^2 - (m+1)x + m-4 = 0$
Để ptrinh có 2 nghiệm phân biệt thì $\Delta > 0$ hay
$(m+1)^2 - 4(m-4) > 0$
$<-> m^2 -2m +17 > 0$
$<-> (m-1)^2 + 16 > 0$ với mọi $m$
Vậy ptrinh có 2 nghiệm phân biệt với mọi $m$.
Ta có
$(x_1^2 - mx_1 + m)(x_2^2 - mx_2 + m) = 2$
$<-> x_1^2 x_2^2 -mx_1 x_2(x_1 + x_2) + m(x_1^2 + x_2^2) + m^2 x_1 x_2 - m^2(x_1 + x_2) + m^2 = 2$
$<-> (x_1 x_2)^2 - m x_1 x_2(x_1 + x_2) + m[(x_1 + x_2)^2 - 2x_1 x_2] + m^2 x_1 x_2 - m^2(x_1 + x_2) + m^2 = 2$
Áp dụng Viet ta có
$x_1 + x_2 = m+1, x_1 x_2 = m-4$
Thay vào ta có
$(m-4)^2 - m(m-4)(m+1) + m[(m+1)^2 - 2(m-4)] + m^2(m-4) - m^2(m+1) + m^2 = 2$
$<-> (m^2 -8m + 16) - (m^3 -3m^2 -4m) + (m^3 +9m) + m^3 - 4m^2 - m^3 - m^2 + m^2 = 2$
$<-> -4m + 16 = 2$
$<-> m = \dfrac{7}{2}$
Vậy $m = \dfrac{7}{2}$.
