\(\left\{\begin{matrix} x+3\sqrt{xy+x-y^2-y}=5y+4 \ \ (1)\\ \sqrt{4y^2-x-2}+\sqrt{y-1}=x-1 \ \ (2)\end{matrix}\right.\) ĐK: \(\left\{\begin{matrix} xy+x-y^2-y\geq 0\\ 4y^2-x-2\geq 0\\ y-1\geq 0 \end{matrix}\right.\) Ta có \((1)\Leftrightarrow x-y+3\sqrt{(x-y)(y+1)}-4(y+1)=0\) Đặt \(u=\sqrt{x-y}, v=\sqrt{y+1} \ \ (u\geq 0, v\geq 0)\) Khi đó (1) trở thành: \(u^2+3uv-4v^2=0\Leftrightarrow \bigg \lbrack\begin{matrix} u=v\\ u=-4v(vn) \end{matrix}\) Với u = v ta có x =2y + 1 , thay vào (2) ta được: \(\sqrt{4y^2-2y-3}+\sqrt{y-1}=2y\) \(\Leftrightarrow \sqrt{4y^2-2y-3}-(2y-1)+(\sqrt{y-1}-1)=0\) \(\frac{2(y-2)}{\sqrt{4y^2-2y-3}+2y-1}+\frac{y-2}{\sqrt{y-1}+1}=0\) \(\Leftrightarrow (y-2)\left ( \frac{2}{\sqrt{4y^2-2y-3}+2y-1} +\frac{1}{\sqrt{y-1}+1}\right )=0\) \(\Leftrightarrow y=2\) vì \(\Leftrightarrow \left ( \frac{2}{\sqrt{4y^2-2y-3}+2y-1} +\frac{1}{\sqrt{y-1}+1}\right )> 0 \ \forall y\geq 1\) Với y = 2 thì x = 5. Đối chiếu Đk ta được nghiệm của hệ PT là (5;2).