{x(x+6y−4)+(3y(3y−4)+8)+2(x+y)=(x+y)2+4(1−xy)+23x−xy+22−1−y=x2−2y+3
+ Ta có (1) ⇔(x+3y−2)2+4+(x+3y−2)=(y−x)2+4+(y−x)
+ Xét hàm f(t)=t2+4+t,t∈R Ta có f′(t)=t2+4t+1⇔t2+4t2+4+t>0 , ∀t∈R
Suy ra f(t) đồng biến trên R.
+ Ta có (1) ⇔f(x+3y−2)2=f(y−x)⇔x+3y−2=y−x⇔y=1−x
+ Thế y = 1 - x vào (2) ta có: x2+2x+22−x=x2+2x+1 (3). Với điều kiện x≥0, ta có
(3) ⇔(x2+2x+22−5)+(x−1)=x2+2x−3
⇔x2+2x+22+5x2+2x−3−x+1x−1=(x−1)(x+3)
⇔(x−1)[x+11+(x+3)(1−x2+2x+22+51)]=0⇔x=1
Vì với x≥0 thì x+11+(x+3)(1−x2+2x+22+51)>0
x=1⇒y=0. Vậy hệ phương trình có nghiệm (x; y) = (1; 0)