Không mất tính tổng quát, giả sử \(0\leq z\leq y\leq x\leq 3\) Khi đó có \(\left\{\begin{matrix} z(z-x)\leq 0\\ z(z-y)\leq 0 \end{matrix}\right. \Leftrightarrow \left\{\begin{matrix} z^2-zx\leq 0\\ z^2-yz\leq 0 \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} z^2-zx+x^2\leq x^2\\ z^2-yz+y^2\leq y^2 \end{matrix}\right.\) Từ đó \(P\leq x^2y^2(x^2-xy+y^2)=x^2y^2\left [ (x+y)^2-3xy \right ]=x^2y^2(x+y)^2-3x^3y^3\) \(\leq (xy)^2(x+y+z)^2-3(xy)^3=9(xy)^2-3(xy)^3\) Ta có \(2\sqrt{xy}\leq x+y\leq x+y+z=3\Leftrightarrow xy\leq \frac{9}{4}\) Đặt \(t=xy\Rightarrow 0\leq t\leq\frac{9}{4}\) Xét hàm số \(f(t)=9t^2-3t^3\)với \(t\in \left [ 0;\frac{9}{4} \right ]\). Ta có \(f'(t)=18t-9t^2=0\Leftrightarrow \begin{bmatrix} t=0\\ t=2 \end{matrix}\) Tính được \(f(0)=0;f(2)=12;f(\frac{9}{4})=\frac{729}{64}\) suy ra \(\underset{[0;\frac{9}{4}]}{max}f(t)=12\) Ta có \(P\leq f(t)\leq 12\) Từ đó giá trị lớn nhất của P bằng 12. Đạt được chẳng hạn (x;y;z) = (0;1;2)