Ta có
$4x^2 - y^2 -3xy - 11x + y = 13$
$<-> 4x^2 - 4xy + xy - y^2 -11x + y = 13$
$<-> 4x(x-y) + y(x-y) - 11x + y = 13$
$<-> (4x+y)(x-y) -2(4x+y) + 3(x-y) = 13$
Đặt $a = 4x + y, b = x-y$, ta có
$ab - 2a + 3b = 13$
$<-> a(b-2) + 3(b-2) = 7$
$<-> (a+3)(b-2) = 7 = 1.7 = (-1)(-7) = 7.1 = (-7)(-1)$
TH1: $(a+3)(b-2) = 1.7 = (-1)(-7)$
Vậy ta có
$a +3 = 1, b-2 = 7$ hoặc $a+3 = -1, b-2 = -7$
Do đó
$a = -2, b = 9$ hoặc $a = -4, b = -5$
Suy ra
$4x+y = -2, x-y = 9$ hoặc $4x+y = -4, x-y = -5$
Vậy $x=\dfrac{7}{5}$ (loại) hoặc $x = -\dfrac{9}{5}$ (loại)
TH2: $(a+3)(b-2)= 7.1 = (-7)(-1)$
Vậy ta có
$a+3 = 7, b-2 = 1$ hoặc $a+3 = -7, b-2 = -1$
Do đó
$a = 4, b = -1$ hoặc $a = -10, b = 1$
Suy ra
$4x + y = 4, x-y = -1$ hoặc $4x+y = -1, x-y = 1$
Do đó
$x = \dfrac{3}{5}$ (loại) hoặc $x = 0$ và $y = -1$
Vậy $(x,y) = (0,-1)$