Vậy làm theo đề đã sửa nhé.
Lời giải:
Không mất tính tổng quát. Giả sử \(a\geq b\geq c\geq 0\)
Khi đó: \(\left\{\begin{matrix} b^2-bc+c^2=b^2+c(c-b)\leq b^2\\ a^2-ca+c^2=a^2+c(c-a)\leq a^2\end{matrix}\right.\)
\(\Rightarrow P=(a^2-ab+b^2)(b^2-bc+c^2)(c^2-ca+a^2)\)
\(\leq (a^2-ab+b^2)a^2b^2\)
Áp dụng BĐT AM-GM ngược dấu ta có:
\(P\leq a^2b^2(a^2-ab+b^2)=\frac{4}{9}.\frac{3ab}{2}.\frac{3ab}{2}(a^2-ab+b^2)\)
\(\leq \frac{4}{9}\left(\frac{a^2-ab+b^2+\frac{3ab}{2}+\frac{3ab}{2}}{3}\right)^3\)
\(\Leftrightarrow P\leq \frac{4}{9}\left(\frac{(a+b)^2}{3}\right)^3\Leftrightarrow P\leq \frac{4}{243}(a+b)^6\)
Vì \(c\geq 0\Rightarrow a+b=3-c\leq 3\)
Do đó \(P\leq \frac{4}{243}.3^6=12\)
Vậy \(P_{\max}=12\). Dấu bằng xảy ra khi \((a,b,c)=(2,1,0)\) và các hoán vị của nó.
P/s: Bài này cũng chính là bài mình thi hsg vòng trường 5 năm trước :)
