ĐK: \(x\geq 0,y\geq 1\) Đặt \(a=\sqrt{x}\geq 0,b=\sqrt{y-1}\geq 0\Leftrightarrow x=a^2,y=b^2+1\) PT thứ nhất của hệ trở thành: \(a^4+a^2(b^2+1)+a=2(b^2+1)^2-3(b^2+1)+b+1\) \(\Leftrightarrow (a^4+a^2b^2-2b^4)+(a^2-b^2)+a-b=0\) \(\Leftrightarrow (a^2-b^2)(a^2+2b^2)+(a-b)(a+b)+(a-b)=0\) \(\Leftrightarrow (a-b)[(a+b)(a^2+2b^2)+(a+b)+1]=0\) \(\Leftrightarrow a=b\Leftrightarrow y=x+1\) Thay vào PT thứ hai của hệ được: \(x^3+2x-5-\sqrt{3x^2+1}+2\sqrt{x+3}=0 \ \ (1)\) Có thể giải PT(1) bằng cách nhân liên hợp hoặc sử dụng đạo hàm như sau: Xét hàm số: \(f(x)=x^3+2x-5-\sqrt{3x^2+1}+2\sqrt{x+3}\) với \(x\inD=[0;+\infty )\) \(f'(x)=3x^2+2-\frac{3x}{\sqrt{3x^2+1}}+\frac{1}{\sqrt{x+3}}=3x^2+\frac{1}{\sqrt{x+3} }+\frac{2\sqrt{3x^2+1}-3x}{\sqrt{3x^2+1}}\) Với mọi \(x\in D\) luôn có: \(2\sqrt{3x^2+1}=\sqrt{12x^2+4}>\sqrt{9x^2}=\left | 3x \right |\geq 3x\) Cho nên f’(x) > 0 với mọi x > 0, hàm số f(x) đồng biến trên D Vậy phương trình (1) có không quá 1 nghiệm thuộc D. Thử với x = 1 thỏa mãn phương trình (1). Vậy PT(1) có nghiệm duy nhất x = 1. Với x = 1 thì y = 2. Hệ đã cho có một nghiệm x = 1, y = 2.