Lời giải:
Đặt biểu thức là $A$
Ta có:
\(A=2(x^3+y^3)-3xy\)
\(=2(x+y)(x^2-xy+y^2)-3xy\)
\(=2(x+y)(2-xy)-2xy\)
Có: \(xy=\frac{(x+y)^2-(x^2+y^2)}{2}=\frac{(x+y)^2-2}{2}\)
Khi đó đặt \(x+y=a\Rightarrow A=2a(2-\frac{a^2-2}{2})-3.\frac{a^2-2}{2}\)
\(\Leftrightarrow A=6a-a^3-\frac{3}{2}a^2+3\)
Thấy rằng \((x-y)^2\geq 0\Leftrightarrow x^2+y^2\geq 2xy\)
\(\Leftrightarrow 2(x^2+y^2)\geq (x+y)^2\Leftrightarrow a^2\leq 4\Leftrightarrow -2\leq a\leq 2\)
Đến đây, ta có thể xét đạo hàm, lập bảng biến thiên để tìm max với \(a\in [-2;2]\)
Hoặc biến đổi theo cách sau:
\(2A=12a-2a^3-3a^2+6\)
\(2A=2(3a-a^3-2)+(6a-3a^2-3)+13\)
\(=-2(a-1)^2(a+2)-3(a-1)^2+13\)
\(=-(a-1)^2(2a+7)+13\)
Có: \(\left\{\begin{matrix} (a-1)^2\geq 0\\ a\geq -2\Rightarrow -(2a+7)< 0\end{matrix}\right.\Rightarrow -(a-1)^2(2a+7)\leq 0\)
\(\Rightarrow 2A\leq 13\Leftrightarrow A\leq \frac{13}{2}\)
Vậy \(A_{\max}=\frac{13}{2}\Leftrightarrow a=1\)