Giả sử \(x=min\left \{ x,y,z \right \}\) suy ra \(x\in [0;1]\) Ta có \(x^3+y^3+z^3-3xyz=(x+y+z)(x^2+y^2+z^2-xy-yz-zx)\) \(\Leftrightarrow x^3+y^3+z^3-3xyz=(x+y+z)[(x+y+z)^2-3(xy+yz+zx)]+3xyz\) \(=27-9(xy+yz+zx)+3xyz\) Ta có \(P=x^3+y^3+z^3+x^2y^2z^2=27-9(xy+yz+zx)+3xyz+x^2y^2z^2\) \(=(xyz-1)^2-1+27+5xyz-9(xy+yz+zx)\geq 26+5xyz-9(xy+yz+zx)\) \(=26-9(xy+zx)-yz(9-5x)\) Vì \(x\in [0;1]\) nên \((9-5x)>0\Rightarrow -yz(9-5x)\geq -\left ( \frac{y+z}{2} \right )^2(9-5x)=-\left ( \frac{3-x}{2} \right )^2(9-5x)\) Suy ra \(P\geq 26-9x(3-x)-\left ( \frac{3-x}{2} \right )^2(9-5x)=\frac{5x^3-3x^2-9x+23}{4}\) Xét hàm số \(f(x)=\frac{5x^3-3x^2-9x+23}{4}\) trên [0;1] Ta có \(f'(x)=\frac{15x^2-6x-9}{4}\leq 0 \ \forall x\in [0;1]\) Nên hàm số nghịch biến trên \([0;1]\Rightarrow f(x)\geq f(1)=4\)
Vậy giá trị nhỏ nhất của P bằng 4, đạt được khi x = y = z = 1