$\left\{\begin{matrix} \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! x^{2}+2x-3=y+3\sqrt{x+y+3}\; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; (1)\\6x^{2}+2xy+2(\sqrt{x}-1)(\sqrt{x}+1)=3(x^{2}-y-4)\sqrt[3]{2x^{2}+xy+3x+2}\; \; (2) \end{matrix}\right.$

ĐK: $\left\{\begin{matrix} x+y+3\geq 0\\x\geq 0 \end{matrix}\right.$

Từ (1) suy ra $x^{2}+3x=x+y+3+3\sqrt{x+y+3}$

Xét hàm số: $f(t)=t^{2}+3t(t\geq 0).$ Ta có $f'(t)=2t+3>0,\forall t\geq 0.$

Xét hàm số đồng biến trên $[0;+\infty )$ nên $f(x)=f(\sqrt{x+y+3})\Leftrightarrow x=\sqrt{x+y+3}$

$\Leftrightarrow x^{2}=x+y+3\Leftrightarrow y=x^{2}-x-3$

Thế $y=x^{2}-x-3$ vào PT (2) ta có

$2x^{3}+6x^{2}-6x-2=3(x-1)\sqrt[3]{x^{3}+x^{2}+2}=0$

$\Leftrightarrow (x-1)(2x^{2}+6x+2-3\sqrt[3]{x^{3}+x^{2}+2})=0$

$\Leftrightarrow \bigg \lbrack\begin{matrix} \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! x=1\\2x^{2}+6x+2-3\sqrt[3]{x^{3}+x^{2}+2}=0 \end{matrix}$

+ Với x = 1 => y = -3

+ Với $2x^{2}+6x+2=3\sqrt[3]{x^{3}+x^{2}+2}$

$\Leftrightarrow x^{3}+x^{2}+2+2x^{2}+6x+2=x^{3}+x^{2}+2+3\sqrt[3]{x^{3}+x^{2}+2}$

$\Leftrightarrow (x+1)^{3}+3(x+1)=x^{3}+x^{2}+2+3\sqrt[3]{x^{3}+x^{2}+2}$

Ta có: $f(t)=t^{3}+3t$ đồng biến trên R nên $f(x+1)=f(\sqrt[3]{x^{3}+x^{2}+2})$

$\Leftrightarrow x+1=\sqrt[3]{x^{3}+x^{2}+2}\Leftrightarrow 2x^{2}+3x-1=0\Leftrightarrow \bigg \lbrack\begin{matrix} x=\frac{-3+\sqrt{11}}{4}\\x=\frac{-3-\sqrt{11}}{4}\; (l) \end{matrix}$

Với $x=\frac{-3+\sqrt{11}}{4}\Rightarrow y=\frac{-8-5\sqrt{11}}{8}$

Vậy hệ phương trình có 2 nghiệm $(1;-3)$ và $(\frac{-3+\sqrt{11}}{4};\frac{-8-5\sqrt{11}}{8})$