$x^{2}$ - 2(m+1)x + 2m + 10 = 0 (*)
Pt (*) có 2 nghiệm $x_{1}$, $x_{2}$ khi Δ' $\geq$ 0
⇔ $(m+1)^{2}$ - 2m - 10 $\geq$ 0
⇔ $m^{2}$ + 2m + 1 - 2m - 10 $\geq$ 0
⇔ $m^{2}$ - 9 $\geq$ 0
⇔ $m^{2}$ $\geq$ 9
⇔ m $\leq$ -3 hoặc m $\geq$ 3
Theo Viet, ta có:
$\left \{ {{x_{1}+x_{2}=2(m+1)} \atop {x_{1}.x_{2}=2m+10}} \right.$
P = $x_{1}^2$ + $x_{2}^2$ - $x_{1}$$x_{2}$
= ($x_{1}^2$ + 2$x_{1}$$x_{2}$ + $x_{2}^2$) - 3$x_{1}$$x_{2}$
= $(x_{1}+x_{2})^{2}$ - 3$x_{1}$$x_{2}$ = 4$(m+1)^{2}$ - 3(2m+10)
= $4m^{2}$ + 8m + 4 - 6m - 30
= $4m^{2}$ + 2m - 26
= $(2m+\frac{1}{2})^{2}$ - $\frac{105}{4}$ $\geq$ - $\frac{105}{4}$ (vì $(2m+\frac{1}{2})^{2}$ $\geq$ 0 ∀m)
⇒ $P_{MIN}$ = - $\frac{105}{4}$
Dấu "=" xảy ra khi $(2m+\frac{1}{2})^{2}$ = 0
⇔ 2m + $\frac{1}{2}$ = 0
⇔ 2m = $\frac{-1}{2}$
⇔ m = -$\frac{1}{4}$
Vậy P đạt GTNN là - $\frac{105}{4}$ khi m = -$\frac{1}{4}$.