ĐK: \(x\geq 0,y\geq 0\). Đặt \(u=\sqrt[3]{x^{2}-xy+1},v=\sqrt[3]{y^{2}-xy+1}\Rightarrow 2(x-y)^{2}=2(u^{3}+v^{3})-4\). Từ đây suy ra \(u^{3}+v^{3}\geq 2\; \; \; (1)\)
Phương trình đầu của hệ trở thành \(u+v-2=2(u^{3}+v^{3})-4\Leftrightarrow \frac{u^{3}+v^{3}}{2}=\frac{u+v+2}{4}\; \; \; (2)\). Từ (1) và (2) suy ra \(u+v\geq 2> 0\; \; \; (3)\). Ta chứng minh được \(\frac{u^{3}+v^{3}}{2}\geq (\frac{u+v}{2})^{3}\; \; \; (4)\), với mọi u, v thỏa mãn (3). Đẳng thức ở (4) xảy ra khi u = v. Từ (2) và (4) dẫn tới \(\frac{u+v+2}{4}\geq (\frac{u+v}{2})^{3}\Leftrightarrow (u+v-2)((u+v+1)^{2}+1)\leq 0\Leftrightarrow u+v\leq 2\; \; \; (5)\)
Từ (3), (5) => u + v = 2. Từ đây và (2) suy ra \(u^{3}+v^{3}=2\) hay \((x-y)^{2}=0\Leftrightarrow x=y\). Thử lại, thấy x = y thỏa mãn phương trình đầu của hệ.
Vậy \(\sqrt[3]{x^{2}-xy+1}+\sqrt[3]{y^{2}-xy+1}-2=2(x-y)^{2}\Leftrightarrow x=y\)
Thế y = x vào phương trình thứ hai trong hệ phương trình đã cho, ta được \((16x^{2}-5)\sqrt{x}+2=0\; \; \; (6)\). Ta thấy x = 0 không là nghiệm của (6). Với x > 0 thì (6) trở thành \(8x^{2}+\frac{1}{\sqrt{x}}=\frac{5}{2}\; \; \; (7)\). Áp dụng BĐT Cô si (Cauchy) \(8x^{2}+\frac{1}{\sqrt{x}}=8x^{2}+\frac{1}{4\sqrt{x}}+\frac{1}{4\sqrt{x}}+\frac{1}{4\sqrt{x}}+\frac{1}{4\sqrt{x}}\geq \frac{5}{2}.\)
Nên (7) \(\Leftrightarrow 8x^{2}=\frac{1}{4\sqrt{x}}\Leftrightarrow x=\frac{1}{4}\). Dẫn tới (6) \(\Leftrightarrow x=\frac{1}{4}\). Tức là HPT \(\Leftrightarrow x=y=\frac{1}{4}\). Vậy hệ phương trình đã cho có nghiệm duy nhất \((\frac{1}{4};\frac{1}{4})\)
Ghi chú: Để giải phương trình (6) ta có thể đặt \(t=2\sqrt{x},t\geq 0,\) khi đó (6) trở thành \(t^{5}-5t+4=0\Leftrightarrow (t-1)^{2}(t^{3}+2t^{2}+3t+4)=0\Leftrightarrow t=1\) (do \(t\geq 0\)).
Từ đó tìm ra \(x=y=\frac{1}{4}\)