ĐK: \(\left\{\begin{matrix} x\geq 0\\ y\geq 3 \end{matrix}\right.\)
Ta có phương trình thứ 2 của hệ:
\(\sqrt{\sqrt{x}(2\sqrt{x}+\sqrt{y-3}+1)}+\sqrt{(\sqrt{y-3}+1)(\sqrt{x}+2\sqrt{y-3}+2)}=\sqrt{6(x+(\sqrt{y-3}+1)^{2})}\; \; \, (*)\)
Đặt: \(\left\{\begin{matrix} \sqrt{x}=a\\ \sqrt{y-3}+1=b \end{matrix}\right..\) Phương trình thứ 2 của hệ trở thành:
\(\sqrt{a(2a+b)}+\sqrt{b(a+2b)}=\sqrt{6(a^{2}+b^{2})}\; \; (*)\)
Ta có: \(VT_{(*)}\overset{BCS}{\leq }\sqrt{(a+b)(2a+b+2b+a)}=\sqrt{3}(a+b)\leq \sqrt{6(a^{2}+b^{2})}=VP_{(*)}\)
Dấu "=" xảy ra khi và chỉ khi: \(a=b\Leftrightarrow \sqrt{x}=\sqrt{y-3}+1\Leftrightarrow \sqrt{x}-\sqrt{y-3}=1\)
Thế vào phương trình đầu của hệ ta có:
\(2\sqrt{x}+\frac{32}{1.(2\sqrt{y-3}+3)^{2}}=5\) \(\Leftrightarrow 2\sqrt{x}+\frac{32}{(\sqrt{x}-\sqrt{y-3})(2\sqrt{y-3}+3)^{2}}=5\; \; (**)\)
Mặt khác theo AM - GM ta có:
\(2(\sqrt{x}-\sqrt{y-3})+\frac{2\sqrt{y-3}+3}{2}+\frac{2\sqrt{y-3}+3}{2}+\) \(\frac{32}{(\sqrt{x}-\sqrt{y-3})(2\sqrt{y-3}+3)^{2}}\overset{AM-GM}{\geq} 8\)
\(\Leftrightarrow \sqrt{x}+\frac{32}{(\sqrt{x}-\sqrt{y-3})(2\sqrt{y-3}+3)^{2}}\geq 5\Rightarrow VT_{(**)}\geq VP_{(**)}.\)
Và dấu "=" xảy ra khi và chỉ khi:
\(2(\sqrt{x}-\sqrt{y-3})=\frac{2\sqrt{y-3}+3}{2}=\frac{32}{2(\sqrt{x}-\sqrt{y-3})(2\sqrt{y-3}+3)^{2}}\) \(\Leftrightarrow \left\{\begin{matrix} \sqrt{x}=\frac{3}{2}\\ \sqrt{y-3}=\frac{1}{2} \end{matrix}\right.\)
\(\Leftrightarrow \left\{\begin{matrix} x=\frac{9}{4}\\ y=\frac{13}{4} \end{matrix}\right.\)
Vậy nghiệm của hệ là \((x;y)=\left ( \frac{9}{4};\frac{13}{4} \right )\)