Điều kiện \(\left\{\begin{matrix} y\geq 0,x\geq 3\\ x\geq \sqrt{y};\frac{y+3}{3}\geq x\geq \frac{y}{4} \end{matrix}\right.(II). (1)\Rightarrow y=4x-4;y=0 \ \ (loai)\) \(y=4x-4\) thay vào (2) có \(\sqrt{x^2-9}=3\sqrt{x-1}-2 \ \ (3)\) Cách 1: Đặt \(\sqrt{x-1}=u, u\geq \sqrt{2}\Rightarrow x=u^2+1\) thay vào (2) vào \(\sqrt{u^4+2u^2-8}=3u-2\) \(\Leftrightarrow u^4+2u^2-8=9u^2-12u+4\Leftrightarrow u^4-7u^2+12u-12=0\) \(\Leftrightarrow (u-2)(u^3+2u^2-3u+6)=0\) \(\Leftrightarrow u=2; (u^3+2u^2-3u+6)=0\) + \(u=2\Rightarrow x=5,y=16\) thỏa mãn (II) + \(u^3+2u^2-3u+6=0 \ \ (4); u\geq \sqrt{2}\) Do \(u\geq 2\) nên \(u^3+2u^2-3u+6> 2u+2u-3u+6=u+6>0\Rightarrow \ (4)\) vô nghiệm. Vậy hệ phương trình có nghiệm (x; y) = (5; 16)