\(\left\{\begin{matrix}(2x+\sqrt{1+4x^{2}})(y+\sqrt{1+y^{2}}) (1) \\x\sqrt{x-y-xy+1}=2xy+x-y+1 (2) \end{matrix}\right.\)
Điều kiện: \(x-y-xy+1\geq 0 (*)\) vì \(t+\sqrt{1+t^{2}}> 0\)
\(\Leftrightarrow (2x+\sqrt{1+4x^{2}})=\sqrt{1+y^{2}}-y\Leftrightarrow 2x+y+\frac{4x^{2}-y^{2}}{\sqrt{1+4x^{2}}+\sqrt{1+y^{2}}}=0\)
Nên (1)
\(\Leftrightarrow (2x+y)(\sqrt{1+4x^{2}}+\sqrt{1+y^{2}}+2x-y)=0\Leftrightarrow 2x+y=0\Leftrightarrow y=-2x\)
Thay y = -2x vào (2) ta được \(x\sqrt{3x+2x^{2}+1}=-4x^{2}+3x+1\)
\(\Leftrightarrow x\left | x \right |\sqrt{\frac{3}{x}+2+\frac{1}{x^{2}}}=x^{2}(-4+\frac{3}{x}+\frac{1}{x^{2}})\)
Đặt \(t=\frac{3}{x}+\frac{1}{x^{2}}\)
Khi \(x> 0\), ta được \(\sqrt{t+2}=t-4\Leftrightarrow t=7\). Từ đó, kết hợp với \(x> 0\) ta được \(x=\frac{3+\sqrt{37}}{14};\)
\(y=-\frac{3+\sqrt{37}}{7}\) thỏa mãn điều kiện (*)
Khi \(x< 0\) ta được \(-\sqrt{t+2}=t-4\Leftrightarrow t=2\). Từ đó kết hợp với \(x< 0\) ta được \(x=\frac{3-\sqrt{37}}{4};\) \(y=\frac{\sqrt{17}-3}{2}\) thỏa mãn điều kiện (*)
Vậy hệ có 2 cặp nghiệm