`x^2-2(m+1)x+m^2+3m+6=0` `(1)`
`Delta'=[-(m+1)]^2-(m^2+3m+6)`
`=m^2+2m+1-m^2-3m-6`
`=-m-5`
Để phương trình `(1)` có 2 nghiệm thì: `Delta'\geq0`
`<=>-m-5\geq0`
`<=>-m\geq5`
`<=>m\leq-5`
Khi đó theo hệ thức Vi - ét ta có: $\begin{cases}x_1+x_2=2(m+1)\\x_1x_2=m^2+3m+6\end{cases}$
Lại có: `M=(x_1-x_2)^2-x_1x_2-(x_1-1)(x_2-1)+3`
`=x_1^2-2x_1x_2+x_2^2-x_1x_2-(x_1x_2-x_1-x_2+1)+3`
`=(x_1+x_2)^2-5x_1x_2-[x_1x_2-(x_1+x_2)+1]+3`
`=>M=[2(m+1)]^2-5(m^2+3m+6)-[m^2+3m+6-2(m+1)+1]+3`
`=4(m^2+2m+1)-5m^2-15m-30-(m^2+3m+6-2m-2+1)+3`
`=4m^2+8m+4-5m^2-15m-30-(m^2+m+5)+3`
`=-m^2-7m-26-m^2-m-5+3`
`=-2m^2-8m-28`
`=-2(m^2+4m+14)`
`=-2(m^2+4m+4+10)`
`=-2(m+2)^2-20\leq-20∀m∈RR`
Do `m\leq-5` nên `m+2\leq-3`
`=>(m+2)^2\geq9`
`=>-2(m+2)^2\leq-2.9`
`=>-2(m+2)^2\leq-18`
`=>-2(m+2)^2-20\leq-38`
`=>M_max=-38` khi `m=-5` `(TMĐK)`
Vậy `M_max=-38` khi `m=-5`
