Điều kiện: \(x^2y\geq -2\) . Gọi hai phương trình lần lượt là (1) và (2) \((2)\Leftrightarrow x^6y^3+3x^2y=y^3+3y-1+3(y-1)\) \(\Leftrightarrow (x^2y^3)+3x^2y=(y-1)^3+3(y-1) \ \ (3)\) Xét hàm số \(f(t)=t^3+3t\Rightarrow f'(t)=3t^2+3>0,\forall t\in R\) Do đó \((3)\Leftrightarrow f(x^2y)=f(y-1)\Leftrightarrow x^2y=y-1,(y\geq 1).\) Thế vào (1) ta được \(x^2y+x^2+1=2x\sqrt{y+1}\) \(\Leftrightarrow x^2(y+1)-2x\sqrt{y+1}+1=0\Leftrightarrow (x\sqrt{y+1}-1)^2=0\) \(\Leftrightarrow x\sqrt{y+1}=1\) Do đó hệ đã cho tương đương với \(\left\{\begin{matrix} x\sqrt{y+1}=1\\ x^2y=y-1 \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} x^2y+x^2=1\\ x^2y=y-1\\ x> 0 \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} y=2-x^2\\ x^2(2-x^2)+x^2=1(4)\\ x>0 \end{matrix}\right.\) \((4)\Leftrightarrow x^4-3x^2+1=0\Leftrightarrow (x^2-1)^2-x^2=0\) \(\Leftrightarrow (x^2-x-1)(x^2+x-1)=0\) \(\Leftrightarrow \bigg \lbrack\begin{matrix} x=\frac{1\pm \sqrt{5}}{2}\\ x=\frac{-1\pm \sqrt{5}}{2} \end{matrix}\) Do x > 0 nên \(x=\frac{1+ \sqrt{5}}{2}\) hoặc \(x=\frac{-1+ \sqrt{5}}{2}\) Với \(x=\frac{1+ \sqrt{5}}{2}\Rightarrow y=\frac{1- \sqrt{5}}{2}\). Với \(x=\frac{-1+ \sqrt{5}}{2}\Rightarrow y=\frac{1+ \sqrt{5}}{2}\) Vậy hệ đã cho có nghiệm \((x;y)=\left ( \frac{1+ \sqrt{5}}{2};\frac{1- \sqrt{5}}{2} \right ), (x;y)=\left ( \frac{-1+ \sqrt{5}}{2};\frac{1+ \sqrt{5}}{2} \right )\)