Đặt $\begin{cases}\sqrt{xy-2}.(\sqrt{xy-2}-2)=3(1)\\ (y-1)x=10(2)\\\end{cases}$
Từ `(1)` ta được:
`\sqrt{xy-2}(\sqrt{xy-2}-2)=3`
`<=>(xy-2)-2\sqrt{xy-2}+1=4`
`<=> (\sqrt{xy-2}-1)^2=4`
`<=> `\(\left[ \begin{array}{l}\sqrt{xy-2}-1=2\\\sqrt{xy-2}-1=-2\end{array} \right.\)
`<=>`\(\left[ \begin{array}{l}\sqrt{xy-2}=3\\\sqrt{xy-2}=-1 \ (ktm)\end{array} \right.\)
`=> \sqrt{xy-2}=3`
`<=> xy-2=9`
`<=> xy=11`
`<=> x=\frac{11}{y} \ (y\ne 0)`
Thế `x=\frac{11}{y}` vào `(2)` ta được:
`(y-1).\frac{11}{y}=10`
`<=>11y-11=10y`
`<=>y=11`
`=> x=1`
Vậy hệ phương trình có tập nghiệm: `(x;y)=(1;11)`