Đặt \(t=ab+bc+ca\)
Ta có \(36=(a+b+c)^2=\frac{1}{2}\left [ (a-b)^2+(b-c)^2+(c-a)^2 \right ]+3t\geq 3t\). Suy ra \(t\leq 12\).
Mặt khác, \((a-1)(b-1)(c-1)\geq 0\) nên \(abc\geq ab+bc+ca-5=t-5\) và \((3-a)(3-b)(3-c)\geq 0\), nên \(3t=3(ab+bc+ca)\geq abc+27\geq t+22\). Suy ra \(t\geq 11\).
Vậy \(t\epsilon \left [ 11;12 \right ]\)
Khi đó
\(P=\frac{a^2b^2+b^2c^2+c^2a^2+2abc(a+b+c)+72}{ab+bc+ca}-\frac{abc}{2}\)
\(=\frac{(ab+bc+ca)^2+72}{ab+bc+ca}-\frac{abc}{2}\leq \frac{t^2+72}{t}-\frac{t-5}{2}=\frac{t^2+5t+144}{2t}\)
Xét hàm số \(f(t)=\frac{t^2+5t+144}{2t}\), với \(t\epsilon \left [ 11;12 \right ]\). Ta có \(f'(t)=\frac{t^2-144}{2t^2}\)
Do đó \(f'(t)\leq 0,\forall t \epsilon \left [ 11;12 \right ]\), nên \(f'(t)\) nghịch biến trên đoạn \(\left [ 11;12 \right ]\)
Suy ra \(f(t)\leq f(11)=\frac{160}{11}\). Do đó \(P\leq \frac{160}{11}\)
Ta có a = 1, b = 2, c = 3 thỏa nãm điều kiện của bài toán và khi đó \(P=\frac{160}{11}\).
Vậy giá trị lớn nhất của P bằng \(\frac{160}{11}\).
