$x + y+ xy = 8\qquad (1)$
Do $y = -1$ không là nghiệm của $(1)$ nên ta được:
$(1) \Leftrightarrow x(1 + y) = 8 - y$
$\Leftrightarrow x = \dfrac{8 - y}{y + 1}$
Thay vào $P$ ta được:
$\quad \left(\dfrac{8-y}{y+1}\right)^2 + y^2$
$= \dfrac{y^4 + 2y^3 + 2y^2 - 16y + 64}{(y+1)^2}$
$= \dfrac{(y^4 + 2y^3 - 6y^2 -32y + 56) + (8y^2 + 16y + 8)}{(y+1)^2}$
$= \dfrac{(y-2)^2(y^2 + 6y + 14) + 8(y+1)^2}{(y+1)^2}$
$= \dfrac{(y-2)^2(y^2 + 6y + 14)}{(y+1)^2} + 8$
Ta có:
$\quad (y-1)^2\geqslant 0\quad \forall y$
$\Leftrightarrow \dfrac{(y-2)^2(y^2 + 6y + 14)}{(y+1)^2}\geqslant 0$
$\Leftrightarrow \dfrac{(y-2)^2(y^2 + 6y + 14)}{(y+1)^2} + 8$
Hay $P\geqslant 8$
Dấu $=$ xảy ra $\Leftrightarrow y - 2 = 0 \Leftrightarrow y = 2\Rightarrow x = 2$
Vậy $\min P = 8 \Leftrightarrow (x;y) = (2;2)$