Lời giải:
Áp dụng BĐT AM-GM:
\((2a+b+c)^2=\frac{8}{9}(a+b+c)^2+\frac{(a+b+c)^2}{9}+a^2+2a(a+b+c)\)
\(\geq \frac{8}{9}(a+b+c)^2+\frac{2}{3}a(a+b+c)+2a(a+b+c)=\frac{8(a+b+c)^2}{9}+\frac{8a(a+b+c)}{3}\)
Do đó \(\frac{1}{(2a+b+c)^2}\leq \frac{9}{8(a+b+c)(4a+b+c)}\). Thực hiện tương tự với các phân thức còn lại:
\(\Rightarrow P\leq \frac{9}{8}.\frac{1}{a+b+c} \left(\frac{1}{4a+b+c}+\frac{1}{4b+a+c}+\frac{1}{4c+a+b} \right)\)
Áp dụng BĐT Cauchy-Schwarz:
\(\frac{1}{4a+b+c}\leq \frac{1}{36}\left (\frac{1}{a}+\frac{1}{a}+\frac{1}{a}+\frac{1}{a}+\frac{1}{b}+\frac{1}{c}\right)=\frac{1}{36}\left(\frac{4}{a}+\frac{1}{b}+\frac{1}{c}\right)\) cùng với những phân thức tương tự
\(\frac{1}{a+b+c}\leq \frac{1}{9}\left (\frac{1}{a}+\frac{1}{b}+\frac{1}{c}\right)\)
Suy ra \(P\leq \frac{1}{8}\left (\frac{1}{a}+\frac{1}{b}+\frac{1}{c}\right).\frac{1}{36}\left (\frac{6}{a}+\frac{6}{b}+\frac{6}{c}\right)\)
Mặt khác theo hệ quả của BĐT AM-GM:
\(3=\frac{1}{a^2}+\frac{1}{b^2}+\frac{1}{c^2}\geq \frac{1}{3}(\frac{1}{a}+\frac{1}{b}+\frac{1}{c})^2\Rightarrow \frac{1}{a}+\frac{1}{b}+\frac{1}{c}\leq 3\)
Suy ra \(P\leq \frac{3}{16}\). Dấu bằng xảy ra khi \(a=b=c=1\)