Đặt \(\left\{\begin{matrix} \sqrt{x^2-2x+2}=3^{y-1}+1-x \ \ (1)\\ \sqrt{y^2-2y+2}=3^{x-1}+1-y \ \ (2) \end{matrix}\right.\) Điều kiện \(x\in R, y\in R\) Đặt \(\left\{\begin{matrix} a=x-1\\ b=y-1 \end{matrix}\right.a,b\in R\) hệ (1) (2) trở thành \(\left\{\begin{matrix} a+\sqrt{a+1}=3^b \ (3)\\ b+\sqrt{b^2+1}=3^a\ (4) \end{matrix}\right.\)
+ Trừ theo vế (3) với (4), ta được: \(a+\sqrt{a^2+1}-b-\sqrt{b^2+1}=3^b-3^a\Leftrightarrow a+\sqrt{a^2+1}+3^a=b\sqrt{b^2+1}+3^b \ (5)\) Xét hàm \(f(t)=t+\sqrt{t^2+1}+3^t,t\in R\), ta có \(f'(t)=\frac{\sqrt{t^2+1}+t}{\sqrt{t^2+1}}+3^tln3>0,\forall t\in R\) + Suy ra hàm số f(t) đồng biến trên R, mà theo (5) có f(a) = f(b) nên a = b + Thay a = b vào (3) được \(a+\sqrt{a^2+1}=3^a \ (6)\). Vì 2 vế của (6) dương nên
Xét hàm \(g(a)=ln(a+\sqrt{a^2+1}-aln3)\Rightarrow g'(a)=\frac{1}{\sqrt{a^2+1}}-ln3\leq 1-ln3<0\) \(\forall a\in R\) + Suy ra hàm g(a) nghịch biến trên R, mà g(0) = 0, nên a = 0 là nghiệm duy nhất của (7) + Từ đó ta có hệ \(\left\{\begin{matrix} a=0\\ b=0 \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} x-1=0\\ y-1=0 \end{matrix}\right.\Leftrightarrow x=y=1\) Vậy x = y = 1 là nghiệm của hệ đã cho