Đặt t = x + y (t > 0). Khi đó \(xy=\frac{3t}{4}\)
Từ giả thiết ta có: \(3(x+y)=4xy\leq (x+y)^{2}\Rightarrow x+y\geq 3\Rightarrow t\geq 3\)
Vì \(x,y\geq 1\) nên \((x-1)(y-1)\geq 0\Leftrightarrow xy-(x+y)+1\geq 0\)
\(\Leftrightarrow \frac{3t}{4}-t+1\geq 0\Leftrightarrow t\leq 4\)
Vậy ta có \(3\leq t\leq 4\)
Mặt khác từ giả thiết ta có: \(\frac{1}{x}+\frac{1}{y}=\frac{4}{3}\)
Suy ra \(P=(x+y)^{3}-3xy(x+y)-3(\frac{1}{x}+\frac{1}{y})^{2}+\frac{6}{xy}=t^{3}-\frac{9}{4}t^{2}+\frac{8}{t}-\frac{16}{3}\)
Ta có \(f'(t)=3t^{2}-\frac{9}{2}t-\frac{8}{t^{2}}=\frac{1}{2t^{2}}(t^{3}(5t-9)+(t^{4}-16))>0\) với \(\forall t\in [3;4]\)
Suy ra f(t) là hàm số đồng biến trên đoạn [3;4]
Vậy giá trị nhỏ nhất của P là \(f(3)=\frac{49}{12}\) khi t = 3 ⇔ x = y = \(\frac{3}{2}\)
GTLN của P là \(f(4)=\frac{74}{3}\) khi t = 4 ⇔ \(\bigg \lbrack\begin{matrix} x=1,y=3\\ x=3,y=1 \end{matrix}\)
