Với $m = -2$ thì ptrinh vô nghiệm. Vậy $m \neq -2$.
Cộng vế theo vế hai ptrinh ta có
$(m+2)x = 18$
$<-> x = \dfrac{18}{m+2}$
Suy ra
$y = \dfrac{14-11m}{m+2}$
Áp dụng BĐT Cauchy ta có
$P = x^2 + y^2 \geq 2 xy$
Dấu "=" xảy ra khi và chỉ khi $x = y$ hay $\dfrac{18}{m+2} = \dfrac{14-11m}{m+2}$
Suy ra $m = -\dfrac{4}{11}$
Khi đó $x = y = 11$. Vậy $2xy = 2.121 = 242$
Vậy GTNN của P là 242, đạt được khi $m = -\dfrac{4}{11}$.