Đặt t = ab + bc + ca, ta có: \(t = ab + bc + ca \leq \frac{1}{3}(a+ b + c)^2 = 3\) Do đó t ≤ 3 Mặt khác ta có: \((a+b+c)^{2}=a^{2}+b^{2}+c^{2}+2(ab+bc+ca)\)
\(\Rightarrow a^{2}+b^{2}+c^{2}=9-2(ab+bc+ca)\)
Khi đó: \(P=\frac{9-2t}{t}-t\) với \(t\leq 3\)
Xét hàm số \(f(t)=\frac{9-2t}{t}-t\) với \(t\leq 3\)
\(f'(t)=-\frac{9}{t^{2}}-1<0, \forall t\leq 3\Rightarrow f(t)\) nghịch biến trên \([-\infty;3]\)
Suy ra: \(\underset{[-\infty;3]}{\min }f(t)=f(3)=-2;\) không tồn tại \(\max f(t)\)