Điều kiện: \(yeq 0;1+\frac{3x}{y}\geq 0\) \(\left\{\begin{matrix} (x-2)\sqrt{1+\frac{3x}{y}}-2x-y(1)\\ \\ y^2\sqrt{1+\frac{3x}{y}}=2x^2+y^2-4x \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} \left ( \frac{x}{y} -\frac{2}{y} \right )\sqrt{1+\frac{3x}{y}}=\frac{2x}{y}-1\\ \\ \sqrt{1+\frac{3x}{y}}=2\left ( \frac{x}{y} \right )^2+1-\frac{4x}{y} \end{matrix}\right.\) Đặt \(\left\{\begin{matrix} a=\frac{x}{y}\\ b=\frac{1}{y} \end{matrix}\right.\) khi đó ta có được hệ: \(\left\{\begin{matrix} (a-2b)\sqrt{1+3a}=2a-1\\ \sqrt{1+3a} =2a^2-4ab+1 \end{matrix}\right.\) * Cộng theo vế hai phương trình cho nhau, ta được: \((a-2b+1)\sqrt{1+3a}=2a^2-2a-4ab\) \(\Leftrightarrow (a-2b+1)(\sqrt{1+3a}-2a)=0\Leftrightarrow \bigg \lbrack\begin{matrix} a+1=2b\\ 2a=\sqrt{1+3a} \end{matrix}\) * Với \(a+1=2b\Leftrightarrow \frac{x}{y}+1=\frac{2}{y}\Leftrightarrow x+y=2\) thế vào (1) ta được:
\(-y\sqrt{1+\frac{2(2-y)}{y}}-2(2-y)-y\Leftrightarrow 2\frac{(2-y)}{y}-1-\sqrt{1+\frac{3(2-y)}{y}}\) \(\Rightarrow 4\left ( \frac{2-y}{y} \right )^2-7\frac{2-y}{y}=0\Leftrightarrow \Bigg \lbrack \begin{matrix} \frac{2-y}{y}=0\\ \\ \frac{2-y}{y}=\frac{7}{4} \end{matrix}\Leftrightarrow \Bigg \lbrack \begin{matrix} y=2\Rightarrow x=0\\ \\ y=\frac{8}{11}\Rightarrow x=\frac{14}{11} \end{matrix}\) Thay \(x=\frac{14}{11}; y=\frac{8}{11}\) vào hệ không thỏa mãn Với \(2a=\sqrt{1+3a}\Leftrightarrow \left\{\begin{matrix} a\geq 0\\ 4a^2-3a-1=0 \end{matrix}\right.\Leftrightarrow a=1\Leftrightarrow x=y\) Khi đó \((1)\Leftrightarrow 2(x-2)=x\Leftrightarrow x=4\Leftrightarrow y=4\) Kết luận: Hệ phương trình có nghiệm là: \(\left\{\begin{matrix} x=0\\ y=2 \end{matrix}\right.;\left\{\begin{matrix} x=4\\ y=4 \end{matrix}\right.\)