Đáp án:

 a) $S = \left\{ {4 \pm \sqrt 5 } \right\}$ khi $m=3$

b) $m=5$ hoặc $m=1$ thỏa mãn đề

Giải thích các bước giải:

 Ta có:

Phương trình ${x^2} - 2\left( {m + 1} \right)x + {m^2} + 2 = 0(1)$

a) Với $m=3$ phương trình trở thành:

$\begin{array}{l}
{x^2} - 8m + 11 = 0\\
 \Leftrightarrow {\left( {x - 4} \right)^2} = 5\\
 \Leftrightarrow x = 4 \pm \sqrt 5 
\end{array}$

Vậy khi $m=3$ thì tập nghiệm phương trình là: $S = \left\{ {4 \pm \sqrt 5 } \right\}$

b) Để phương trình có hai nghiệm $x_1;x_2$ phân biệt

$\begin{array}{l}
 \Leftrightarrow \Delta ' > 0\\
 \Leftrightarrow {\left( { - \left( {m + 1} \right)} \right)^2} - 1.\left( {{m^2} + 2} \right) > 0\\
 \Leftrightarrow 2m - 1 > 0\\
 \Leftrightarrow m > \dfrac{1}{2}
\end{array}$

Khi đó:

Theo ĐL Viet ta có: $\left\{ \begin{array}{l}
{x_1} + {x_2} = 2\left( {m + 1} \right)\\
{x_1}{x_2} = {m^2} + 2
\end{array} \right.$

Mà $x_1;x_2$ là nghiệm của phương trình nên ta có:

$\begin{array}{l}
 + )x_1^2 - 2\left( {m + 1} \right){x_1} + {m^2} + 2 = 0\\
 \Rightarrow x_1^2 = 2\left( {m + 1} \right){x_1} - {m^2} - 2\\
 + )x_2^2 - 2\left( {m + 1} \right){x_1} + {m^2} + 2 = 0\\
 \Rightarrow x_2^2 = 2\left( {m + 1} \right){x_2} - {m^2} - 2
\end{array}$

Như vậy:

$\begin{array}{l}
x_1^2 + 2x_2^2 = {m^2} + 14m + 4\\
 \Leftrightarrow 2\left( {m + 1} \right){x_1} - {m^2} - 2 + 2\left( {2\left( {m + 1} \right){x_2} - {m^2} - 2} \right) = {m^2} + 14m + 4\\
 \Leftrightarrow 2\left( {m + 1} \right)\left( {{x_1} + 2{x_2}} \right) - 3{m^2} - 6 = {m^2} + 14m + 4\\
 \Leftrightarrow 2\left( {m + 1} \right)\left( {{x_1} + 2{x_2}} \right) = 4{m^2} + 14m + 10\\
 \Leftrightarrow \left( {m + 1} \right)\left( {{x_1} + 2{x_2}} \right) = 2{m^2} + 7m + 5\\
 \Leftrightarrow \left( {m + 1} \right)\left( {{x_1} + 2{x_2}} \right) = \left( {m + 1} \right)\left( {2m + 5} \right)\\
 \Leftrightarrow \left[ \begin{array}{l}
m + 1 = 0\left( {l,do:m > \dfrac{1}{2}} \right)\\
{x_1} + 2{x_2} = 2m + 5
\end{array} \right.\\
 \Leftrightarrow {x_1} + 2{x_2} = 2m + 5
\end{array}$

Khi đó: ${x_2} = 3;{x_1} = 2m - 1$

Nên ${x_1}{x_2} = {m^2} + 2$

$\begin{array}{l}
 \Leftrightarrow \left( {2m - 1} \right).3 = {m^2} + 2\\
 \Leftrightarrow {m^2} - 6m + 5 = 0\\
 \Leftrightarrow \left[ \begin{array}{l}
m = 1\left( c \right)\\
m = 5\left( c \right)
\end{array} \right.\\
 \Leftrightarrow m = 5
\end{array}$

Vậy $m=5$ hoặc $m=1$ thỏa mãn đề