\(\left\{\begin{matrix} x^2y(2+2\sqrt{4y^2+1})=x+\sqrt{x^2+1} \ \(1) \\ x^2(4y^2+1)+2(x^2+1)\sqrt{x}=6 \ \ \ \ \ \ \ (2) \end{matrix}\right.\) + Điều kiện \(x\geq 0\) Ta thấy x = 2 không thỏa mãn phương trình (2) Với x > 0 thì \((1)\Leftrightarrow 2y(1+\sqrt{4y^2+1})=\frac{1}{x}(1+\sqrt{\frac{1}{x^2}+1}) \ \ (3)\)
+ Xét hàm số: \(f(t)=t(1+\sqrt{t^2+1}),\) với \(t\in R\) Ta có: \(f'(t)=1+\frac{2t^2+1}{\sqrt{t^2+1}}>0\), với mọi \(t\in R\). Suy ra f(t) đồng biến trên R. Do đó: \((3)\Leftrightarrow f(2y)=f(\frac{1}{x})\Leftrightarrow 2y=\frac{1}{x}\) + Thay \(2y=\frac{1}{x}\) vào phương trình (2) ta được phương trình: \(x^3+x+2(x^2+1)\sqrt{x}-6=0\ \ (4)\) Xét hàm số \(g(x)=3x^2+x+2(x^2+1)\sqrt{x}-6\) với \(x\in (0;+\infty )\) Ta có: \(g'(x)=3x^2+1+\frac{5x^2+1}{\sqrt{x}}> 0 \ \forall x\in (0;+\infty )\) Suy ra g(x) đồng biến trên \((0;+\infty )\) Do đó: \((4)\Leftrightarrow g(x)=g(1)\Leftrightarrow x=1\) Với \(x=1\Rightarrow y=\frac{1}{2}\) + Vậy hệ phương trình có nghiệm \((x;y)\) là \((1;\frac{1}{2})\)