Ta có \(x+y-z=-1\Rightarrow z=x+y+1\)
\(\Rightarrow z+xy=x+y+1+xy=(x+1)(y+1)\)
\(x+yz=x+y(x+y+1)=x+xy+y^{2}+y=(x+y)(y+1)\)
\(y+xz=y+x(x+y+1)=(x+y)(x+1)\)
Ta được \(P=\frac{x^{3}y^{3}}{(x+y)^{2}.(x+1)^{3}(y+1)^{3}}\)
Vì \(\left\{\begin{matrix} (x+y)^{2}\geq 4xy\\x>0 \\y>0 \end{matrix}\right.\Rightarrow P\leq \frac{x^{3}y^{3}}{4xy.(x+1)^{3}(y+1)^{3}}=\frac{x^{3}y^{3}}{4(x+1)^{3}(y+1)^{3}}\)
Áp dụng bất đẳng thức Cauchy ta có
\(x+1=\frac{x}{2}+\frac{x}{2}+1\geq 3\sqrt[3]{\frac{x^{2}}{4}}\Rightarrow (x+1)^{3}\geq \frac{27}{4}x^{2}\Rightarrow 0<\frac{x^{2}}{(x+1)^{3}}\leq \frac{4}{27}\)
Lập luận tương tự ta được \(0<\frac{y^{2}}{(y+1)^{3}}\leq \frac{4}{27}\)
\(\Rightarrow P\leq \frac{1}{4}.\frac{4}{27}.\frac{4}{27}=\frac{4}{729}\)
Dấu bằng xảy ra khi và chỉ khi \(\left\{\begin{matrix} \frac{x}{2}=\frac{2}{2}=1\\z=x+y+1 \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} x=y=2\\z=5 \end{matrix}\right.\)
Vậy maxP = đạt được khi \(\left\{\begin{matrix} x=y=2\\z=5 \end{matrix}\right.\)
