Theo bất đẳng thức AM - GM ta có \(\frac{y^{2}}{x}+\frac{x^{2}}{y} \geq x+y,\) dấu bằng xảy ra khi và chỉ khi \(x=y\Leftrightarrow a=b,\) nên: \(P\leq x^{2}+y^{2}-2c(x+y)-c^{3}\)
Nhưng \(x^{2}+y^{2}-2c(x+y)=a^{2}+b^{2}-2c^{2}=(a^{2}+b^{2}-3c^{2})+c^{2}=4+c^{2}\) nên \(P\leq -c^{3}+4+c^{2}\)