Đặt \(t=x+y\Rightarrow xy=3-t;x^2+y^2=(x+y)^2-2xy=t^2-2(3-t)=t^2+ 2t+6\) Ta có \(xy\leq \left ( \frac{x+y}{2} \right )^2\Rightarrow 3-t\leq \frac{1}{4}t^2\Leftrightarrow t\geq 2\) Suy ra \(P=\frac{4(x^2+y^2)+3(x+y)}{xy+x+y+1}+\frac{xy}{x+y}-(x^2+y^2)\) = \(-t^2+t+\frac{12}{t}-\frac{5}{2}\)
Xét hàm số \(f(t)=-t^2+t+\frac{12}{t}-\frac{5}{2}\) với \(t\geq 2\)
Ta có \(f'(t)=-2t+1-\frac{2}{t^2}< 0, \forall t\geq 2\). Suy ra hàm số f(t) nghịch biến với \(t\geq 2\) \(\Rightarrow P\leq f(t)\leq f(2)=\frac{3}{2}\) Vậy giá trị lớn nhất của P bằng \(\frac{3}{2}\) khi x =y = 1