Lời giải:
Ta có: \(2x^2-xy-y^2-8=0\)
\(\Leftrightarrow 2x^2-xy-(y^2+8)=0\)
Coi đây là pt bậc 2 ẩn $x$. Để PT có nghiệm nguyên thì \(\Delta\) phải là số chính phương.
\(\Leftrightarrow y^2+8(y^2+8)=t^2(t\in\mathbb{N})\)
\(\Leftrightarrow 9y^2+64=t^2\)
\(\Leftrightarrow (t-3y)(t+3y)=64\)
Có \(t-3y< t+3y\) do \(y\in\mathbb{Z}^+\) và \(t-3y-(t+3y)=-6y\) chẵn nên $t-3y, t+3y$ có cùng tính chẵn lẻ.
Do đó ta xét các TH sau:
TH1: \(\left\{\begin{matrix} t-3y=2\\ t+3y=32\end{matrix}\right.\Rightarrow y=5\)
Thay vào PT đầu: \(2x^2-5x-33=0\Leftrightarrow (x+3)(2x-11)=0\)
\(\Leftrightarrow x=-3, x=\frac{11}{2}\) (không thỏa mãn)
TH2: \(\left\{\begin{matrix} t-3y=4\\ t+3y=16\end{matrix}\right.\Rightarrow y=2\)
Thay vào PT đầu: \(2x^2-2x-12=0\Leftrightarrow (x-3)(x+2)=0\)
\(\Leftrightarrow x=3\) (chọn) hoặc $x=-2$ (loại)
Vậy \((x,y)=(3,2)\)