\(\left\{\begin{matrix} \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! x^{2}+2x-3=y+3\sqrt{x+y+3}\; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; (1)\\6x^{2}+2xy+2(\sqrt{x}-1)(\sqrt{x}+1)=3(x^{2}-y-4)\sqrt[3]{2x^{2}+xy+3x+2}\; \; (2) \end{matrix}\right.\)
ĐK: \(\left\{\begin{matrix} x+y+3\geq 0\\x\geq 0 \end{matrix}\right.\)
Từ (1) suy ra \(x^{2}+3x=x+y+3+3\sqrt{x+y+3}\)
Xét hàm số: \(f(t)=t^{2}+3t(t\geq 0).\) Ta có \(f'(t)=2t+3>0,\forall t\geq 0.\)
Xét hàm số đồng biến trên \([0;+\infty )\) nên \(f(x)=f(\sqrt{x+y+3})\Leftrightarrow x=\sqrt{x+y+3}\)
\(\Leftrightarrow x^{2}=x+y+3\Leftrightarrow y=x^{2}-x-3\)
Thế \(y=x^{2}-x-3\) vào PT (2) ta có
\(2x^{3}+6x^{2}-6x-2=3(x-1)\sqrt[3]{x^{3}+x^{2}+2}=0\)
\(\Leftrightarrow (x-1)(2x^{2}+6x+2-3\sqrt[3]{x^{3}+x^{2}+2})=0\)
\(\Leftrightarrow \bigg \lbrack\begin{matrix} \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! \! x=1\\2x^{2}+6x+2-3\sqrt[3]{x^{3}+x^{2}+2}=0 \end{matrix}\)
+ Với x = 1 => y = -3
+ Với \(2x^{2}+6x+2=3\sqrt[3]{x^{3}+x^{2}+2}\)
\(\Leftrightarrow x^{3}+x^{2}+2+2x^{2}+6x+2=x^{3}+x^{2}+2+3\sqrt[3]{x^{3}+x^{2}+2}\)
\(\Leftrightarrow (x+1)^{3}+3(x+1)=x^{3}+x^{2}+2+3\sqrt[3]{x^{3}+x^{2}+2}\)
Ta có: \(f(t)=t^{3}+3t\) đồng biến trên R nên \(f(x+1)=f(\sqrt[3]{x^{3}+x^{2}+2})\)
\(\Leftrightarrow x+1=\sqrt[3]{x^{3}+x^{2}+2}\Leftrightarrow 2x^{2}+3x-1=0\Leftrightarrow \bigg \lbrack\begin{matrix} x=\frac{-3+\sqrt{11}}{4}\\x=\frac{-3-\sqrt{11}}{4}\; (l) \end{matrix}\)
Với \(x=\frac{-3+\sqrt{11}}{4}\Rightarrow y=\frac{-8-5\sqrt{11}}{8}\)
Vậy hệ phương trình có 2 nghiệm \((1;-3)\) và \((\frac{-3+\sqrt{11}}{4};\frac{-8-5\sqrt{11}}{8})\)