Đáp án đúng: B

Phương pháp giải:

Phương trình \(a{x^2} + bx + c = 0\,\,\,\,\left( {a \ne 0} \right)\) có hai nghiệm \({x_1},\,\,{x_2} \Leftrightarrow \Delta  \ge 0.\)
Khi đó theo hệ thức Vi-et ta có: \(\left\{ \begin{array}{l}{x_1} + {x_2} =  - \dfrac{b}{a}\\{x_1}{x_2} = \dfrac{c}{a}\end{array} \right..\)
Áp dụng biểu thức bài cho và hệ thức Vi-et để tìm \(m.\)
Đối chiếu với điều kiện rồi kết luận \(m.\)
\(x_1^2 + x_2^2 = {\left( {{x_1} + {x_2}} \right)^2} - 2{x_1}{x_2}.\)Giải chi tiết:Ta có: \(\Delta  = {\left[ { - \left( {m + 1} \right)} \right]^2} - 4.\left( {2m - 8} \right)\)
             \(\begin{array}{l} = {m^2} + 2m + 1 - 8m + 32\\ = {m^2} - 6m + 33\\ = {m^2} - 6m + 9 + 24\\ = {\left( {m - 3} \right)^2} + 24\end{array}\)
Vì \({\left( {m - 3} \right)^2} \ge 0\) với mọi \(m\) nên \({\left( {m - 3} \right)^2} + 24 \ge 24 > 0\) với mọi \(m\) 
Hay \(\Delta  > 0\) với mọi \(m\)  nên phương trình (1) luôn có hai nghiệm phân biệt \({x_1};{x_2}\)
Theo hệ thức Vi-ét ta có: \(\left\{ \begin{array}{l}{x_1} + {x_2} = m + 1\\{x_1}{x_2} = 2m - 8\end{array} \right.\)
Theo đề bài ta có:
\(\begin{array}{l}\,\,\,\,\,\,\,x_1^2 + x_2^2 + \left( {{x_1} - 2} \right)\left( {{x_2} - 2} \right) = 11\\ \Leftrightarrow x_1^2 + x_2^2 + {x_1}{x_2} - 2{x_1} - 2{x_2} + 4 = 11\\ \Leftrightarrow {\left( {{x_1} + {x_2}} \right)^2} - 2{x_1}{x_2} + {x_1}{x_2} - 2\left( {{x_1} + {x_2}} \right) - 7 = 0\\ \Leftrightarrow {\left( {{x_1} + {x_2}} \right)^2} - {x_1}{x_2} - 2\left( {{x_1} + {x_2}} \right) - 7 = 0\\ \Leftrightarrow {\left( {m + 1} \right)^2} - \left( {2m - 8} \right) - 2\left( {m + 1} \right) - 7 = 0\\ \Leftrightarrow {m^2} + 2m + 1 - 2m + 8 - 2m - 2 - 7 = 0\\ \Leftrightarrow {m^2} - 2m = 0\\ \Leftrightarrow m\left( {m - 2} \right) = 0\\ \Leftrightarrow \left[ \begin{array}{l}m = 0\\m - 2 = 0\end{array} \right. \Leftrightarrow \left[ \begin{array}{l}m = 0\\m = 2\end{array} \right.\end{array}\)
Vậy \(m = 0;m = 2\) thỏa mãn điều kiện bài toán.
Chọn B.