Đáp án:

 a) $S = \left\{ {4 + 3\sqrt 2 } \right\}$

b) $m=-5$

Giải thích các bước giải:

 ĐKXĐ: $x>0$ 

Ta có:

$\begin{array}{l}
\dfrac{{\left( {x + 1} \right)\left( {{x^2} + mx + 2m + 14} \right)}}{{\sqrt x }} = 0\left( 1 \right)\\
 \Leftrightarrow {x^2} + mx + 2m + 14 = 0\left( 2 \right)\left( {do:x > 0} \right)
\end{array}$

a) Với $m=-8$ phương trình $(2)$ trở thành:

$x^2-8x-2=0$

$\begin{array}{l}
 \Leftrightarrow {x^2} - 8x - 2 = 0\\
 \Leftrightarrow \left[ \begin{array}{l}
x = 4 + 3\sqrt 2 \left( c \right)\\
x = 4 - 3\sqrt 2 \left( l \right)
\end{array} \right.\\
 \Leftrightarrow x = 4 + 3\sqrt 2 
\end{array}$

Vậy với $m=-8$ phương trình có tập nghiệm $S = \left\{ {4 + 3\sqrt 2 } \right\}$

b) Ta có:

Để phương trình $(1)$ có hai nghiệm $x_1;x_2$ phân biệt

$ \Leftrightarrow $ Phương trình $(2)$ có hai nghiệm $x_1;x_2$ dương phân biệt

$\begin{array}{l}
 \Leftrightarrow \left\{ \begin{array}{l}
\Delta  > 0\\
S > 0\\
P > 0
\end{array} \right.\\
 \Leftrightarrow \left\{ \begin{array}{l}
{m^2} - 4\left( {2m + 14} \right) > 0\\
 - m > 0\\
2m + 14 > 0
\end{array} \right.\\
 \Leftrightarrow \left\{ \begin{array}{l}
{m^2} - 8m - 56 > 0\\
m < 0\\
m >  - 7
\end{array} \right.\\
 \Leftrightarrow \left\{ \begin{array}{l}
\left[ \begin{array}{l}
m > 4 + 6\sqrt 2 \\
m < 4 - 6\sqrt 2 
\end{array} \right.\\
m < 0\\
m >  - 7
\end{array} \right.\\
 \Leftrightarrow  - 7 < m < 4 - 6\sqrt 2 (*)
\end{array}$

Khi đó:

Theo ĐL Viet ta có: $\left\{ \begin{array}{l}
{x_1} + {x_2} =  - m\\
{x_1}{x_2} = 2m + 14
\end{array} \right.$

Và $x_2$ là nghiệm của $(2)$ nên ta có: 

$\begin{array}{l}
x_2^2 + m{x_2} + 2m + 14 = 0\\
 \Rightarrow x_2^2 + \left( {m + 1} \right){x_2} + 2m + 14 = {x_2}
\end{array}$

Như vậy:

$\begin{array}{l}
\sqrt {x_2^2 + \left( {m + 1} \right){x_2} + 2m + 14}  = 3 - \sqrt {{x_1}} \\
 \Leftrightarrow \sqrt {{x_2}}  = 3 - \sqrt {{x_1}} \\
 \Leftrightarrow \sqrt {{x_1}}  + \sqrt {{x_2}}  = 3\\
 \Leftrightarrow {\left( {\sqrt {{x_1}}  + \sqrt {{x_2}} } \right)^2} = 9\\
 \Leftrightarrow {x_1} + {x_2} + 2\sqrt {{x_1}{x_2}}  = 9\\
 \Leftrightarrow  - m + 2\sqrt {2m + 14}  = 9\\
 \Leftrightarrow 2\sqrt {2m + 14}  = m + 9\\
 \Leftrightarrow \left\{ \begin{array}{l}
m + 9 \ge 0\\
4\left( {2m + 14} \right) = {\left( {m + 9} \right)^2}
\end{array} \right.\\
 \Leftrightarrow \left\{ \begin{array}{l}
m \ge  - 9\\
{m^2} + 10m + 25 = 0
\end{array} \right.\\
 \Leftrightarrow \left\{ \begin{array}{l}
m \ge  - 9\\
{\left( {m + 5} \right)^2} = 0
\end{array} \right.\\
 \Leftrightarrow \left\{ \begin{array}{l}
m \ge  - 9\\
m =  - 5
\end{array} \right.\\
 \Leftrightarrow m =  - 5\left( {tm\left( * \right)} \right)
\end{array}$

Vậy $m=-5$ thỏa mãn đề