ĐK: $x, y \geq 0$
Lấy ptrinh trên trừ ptrinh dưới ta có
$x^2 - y^2 + \sqrt{x} - \sqrt{y} = 2y -2x$
$<-> (x-y)(x+y) + \dfrac{x-y}{\sqrt{x} + \sqrt{y}}+2(x-y) = 0$
$<-> (x-y)\left( x + y + \dfrac{1}{\sqrt{x} + \sqrt{y}} + 2\right) = 0$
Với $x, y \geq 0$ nên ta có
$x + y + \dfrac{1}{\sqrt{x} + \sqrt{y}} + 2 \geq 2 > 0$
Vạy ta có
$x-y = 0$ hay $x = y$
Thay vào ptrinh trên ta có
$x^2 + \sqrt{x} = 2x$
$<-> \sqrt{x} (x\sqrt{x} + 1 - 2\sqrt{x}) = 0$
Vậy $\sqrt{x} = 0$ hay $x = 0$, suy ra $y = 0$
Xét trường hợp sau
$x\sqrt{x} + 1 - 2\sqrt{x} = 0$
Đặt $t = \sqrt{x}, t \geq 0$. Ptrinh trở thành
$t^3 - 2t + 1 = 0$
$<-> (t-1)(t^2 +t-1) = 0$
Vậy $t = 1$ hay $x = 1$, suy ra $y = 1$.
Xét trường hợp
$t^2 + t -1 = 0$
Có $t = \dfrac{-1\pm \sqrt{5}}{2}$
Do $t \geq 0$ nên $t = \dfrac{-1+ \sqrt{5}}{2}$
Suy ra
$x = \dfrac{6-2\sqrt{5}}{4}$
Vậy $y = \dfrac{6-2\sqrt{5}}{4}$
Ta có tập nghiệm
$S = \left\{ (0,0), (1,1), \left( \dfrac{6-2\sqrt{5}}{4}, \dfrac{6-2\sqrt{5}}{4} \right) \right\}$
