Từ giả thiết ta có \(x < xyz\Rightarrow yz > 1\) tương tự cũng có: \(zx> 1,xy>1\) Do đó có tối đa 1 trong 3 số x, y, z bé hơn 1. TH1: Có đúng 1 số bé hơn 1, chẳng hạn: \(x<1;y\geq 1;z\geq 1\) khi đó \(P\leq 0\) TH2: \(x\geq 1,y\geq 1,z\geq 1\) Đặt \(x-1=a,y-1=b,z-1=c\) với a,b,c > 0
Giả thiết bài toán trở thành \(a+b+c+3=(a+1)(b+1)(c+1)\Leftrightarrow ab+bc+ca+abc=2\) (*) Đặt \(\sqrt[3]{abc}\), ta có: \(ab+bc+ca\geq 3\sqrt[3]{(abc)^2}=3t^2\) Từ (*), (**) suy ra: \(t^3+3t^2\leq 2\) \(\Leftrightarrow (t+1)(t+1+\sqrt{3})(t+1-\sqrt{3})\leq 0\Leftrightarrow t\leq \sqrt{3}-1\) Do đó \(\sqrt[3]{abc}\leq \sqrt{3}-1\Leftrightarrow abc\leq (\sqrt{3}-1)^3\) hay \((x-1)(y-1)(z-1)\leq (\sqrt{3}-1)^3\) Dấu bằng xảy ra khi: \(x=y=z=\sqrt{3}\) Vậy \(maxP=(\sqrt{3}-1)^3\)