Áp dụng bđt Cosi cho 2 số dương:
`\sqrt{9b(a+8b)}<=(9b+a+8b)/2`
`-> a.\sqrt{b(a+8b)}<=(a^2+17ab)/6`
Tương tự: `b\sqrt{a(b+8a)}<=(b^2+17ab)/6`
Khi đó `P<=(a^2+b^2+34ab)/6`
Mà `2ab<=a^2+b^2`
`-> P<=(a^2+b^2+17(a^2+b^2))/6`
`P<=(18(a^2+b^2))/6<=(18.16)/6=48`
Dấu = xảy ra khi $\begin{cases}9b=a+8b\\9a=b+8a\\a=b\\a^2+b^2=16\end{cases}$
`<=> a=b=2\sqrt{2}`
Vậy `P_(max)=48<=>a=b=2\sqrt{2}`