ĐK \(\left\{\begin{matrix} xy+x-y^2-y\geq 0\\ 4y^2-x-2\geq 0\\ y-1\geq 0 \end{matrix}\right.\) Ta có \((1)\Leftrightarrow x-y+3\sqrt{(x-y)(y+1)}-4(y+1)=0\) Đặt \(u=\sqrt{x-y},v=\sqrt{y+1}(u\geq 0,v\geq 0)\) Khi đó (1) trở thành: \(u^2+3uv-4v^2=0\Leftrightarrow \bigg \lbrack\begin{matrix} u=v\\ u=-4v(vn) \end{matrix}\) Với u = v ta có x = 2y +1, thay vào (2) ta được: \(\sqrt{4y^2-2y-3}+\sqrt{y-1}=2y\) \(\Leftrightarrow \sqrt{4y^2-2y-3}(2y-1)+(\sqrt{y-1}-1)=0\) \(\frac{2(y-2)}{\sqrt{4y^2-2y-3}+2y-1}+\frac{y-2}{\sqrt{y-1}+1}=0\) \(\Leftrightarrow (y-2)\left ( \frac{2}{\sqrt{4y^2-2y-3}+2y-1} +\frac{1}{\sqrt{y-1}+1}\right )=0\) \(\Leftrightarrow y=2\) (Vì \(\Leftrightarrow \frac{2}{\sqrt{4y^2-2y-3}+2y-1} +\frac{1}{\sqrt{y-1}+1}>0\forall y\geq 1\) Với y = 2 thì x = 5. Đối chiếu điều kiện ta được nghiệm của hệ PT là (5;2)