Lời giải:

Xét PT(1)

\(2x^2+y^2-3xy+3x-2y+1=0\)

\(\Leftrightarrow 2x^2-3x(y-1)+(y-1)^2=0\)

Đặt \(y-1=t\Rightarrow 2x^2-3xt+t^2=0\)

\(\Leftrightarrow (x-t)(2x-t)=0\)

\(\Leftrightarrow\left[{}\begin{matrix}x-t=0\\2x-t=0\end{matrix}\right.\)

TH1: \(x-t=0\Leftrightarrow x=t=y-1\)

Thay vào PT(2)

\(\Rightarrow 4(y-1)^2-y^2+(y-1)+4=\sqrt{3y-2}+\sqrt{5y-1}\)

\(3y^2-7y+7=\sqrt{3y-2}+\sqrt{5y-1}\)

\(\Leftrightarrow 3(y^2-3y+2)=\sqrt{3y-2}-y+\sqrt{5y-1}-(y+1)\)

\(\Leftrightarrow 3(y^2-3y+2)=\frac{3y-2-y^2}{\sqrt{3y-2}+y}+\frac{3y-2-y^2}{\sqrt{5y-1}+y+1}\)

\(\Leftrightarrow (y^2-3y+2)\left[3+\frac{1}{\sqrt{3y-2}+y}+\frac{1}{\sqrt{5y-1}+y+1}\right]=0\)

Dễ thấy biểu thức trong ngoặc vuông luôn lớn hơn 0. Do đó \(y^2-3y+2=0\Leftrightarrow y=1\) hoặc \(y=2\)

Kéo theo \(x=0\) hoặc x=1

TH2: \(2x=t=y-1\)

\(\Leftrightarrow y=2x+1\). Thay vào PT(2)

\(4x^2-(2x+1)^2+x+4=\sqrt{4x+1}+\sqrt{9x+4}\)

\(3-3x=\sqrt{4x+1}+\sqrt{9x+4}\)

\(\Leftrightarrow \sqrt{4x+1}-1+\sqrt{9x+4}-2+3x=0\)

\(\Leftrightarrow \frac{4x}{\sqrt{4x+1}+1}+\frac{9x}{\sqrt{9x+4}+2}+3x=0\)

\(\Leftrightarrow x\left(\frac{4}{\sqrt{4x+1}+1}+\frac{9}{\sqrt{9x+4}+2}+3\right)=0\)

Dễ thấy biểu thức trong ngoặc lớn luôn lớn hơn 0. Do đó x=0 kéo theo \(y=1\)

Vậy \((x,y)\in\left\{(0;1);(1;2)\right\}\)