Đáp án:

 a) $S= \varnothing$

b) $S = \left\{ (1,4), \left( -\dfrac{3}{2}, -1 \right) \right\}$.

c) $S = \{ (2, -2), (-2, 2) \}$.

d) $S = \{(2,3), (3,2) \}$.

Giải thích các bước giải:

a) Xét hệ

$\begin{cases} x^2 + y^2 - 2xy = 1\\ 2x^2 + 2y^2 - 2xy - y = 0 \end{cases}$

Từ ptrinh đầu ta suy ra

$(x-y)^2 = 1$

$\Leftrightarrow x - y = \pm 1$

Ta lại có

$2x^2 + 2y^2 - 2xy - y = 0$

$\Leftrightarrow x^2 + y^2 + (x^2 + y^2 - 2xy) - y = 0$

$\Leftrightarrow x^2 + y^2 + 1 - y = 0$

Vậy hệ trở thành

$\begin{cases} x - y = 1\\ x^2 + y^2 - y + 1 = 0 \end{cases}$ hoặc $\begin{cases} x - y = -1\\ x^2 + y^2 - y + 1 = 0 \end{cases}$

TH1: $x - y = 1$

Từ đó suy ra $x = y + 1$. Thay vào phương trình sau ta có

$(y+1)^2 + y^2 - y + 1 =0$

$\Leftrightarrow 2y^2 +y +2 = 0$

Phương trình này vô nghiệm

TH2: $x - y = -1$

Suy ra $x = y-1$. Thay vào phương trình sau ta có

$(y-1)^2 + y^2 -y + 1 = 0$

$\Leftrightarrow 2y^2 -3y + 2 = 0$

Phương trình này cũng vô nghiệm.

Vậy $S = \varnothing$.

b) Hệ đã cho tương đương với

$\begin{cases} xy = y - x + 1\\ xy = 3x - y + 5 \end{cases}$

Từ đó suy ra

$y-x + 1 = 3x - y + 5$

$\Leftrightarrow 4x - 2y = -4$

$\Leftrightarrow 2x - y = -2$

$\Leftrightarrow y = 2x + 2$

Thế vào phương trình đầu ta có

$x(2x + 2) + x - (2x + 2) = 1$

$\Leftrightarrow 2x^2 +x -3 = 0$

$\Leftrightarrow (x-1)(2x + 3) = 0$

Vậy $x = 1$ hoặc $x = -\dfrac{3}{2}$, suy ra $y = 4$ hoặc $y = -1$.

Vậy $S = \left\{ (1,4), \left( -\dfrac{3}{2}, -1 \right) \right\}$.

c) Hệ đã cho tương đương với

$\begin{cases} x^2 + y^2 = 4x + 4y + 8\\ x^2 + y^2 = -4x - 4y + 8 \end{cases}$

Từ đó suy ra

$4x + 4y + 8 = -4x - 4y +8 $

$\Leftrightarrow 8x + 8y = 0$

$\Leftrightarrow x = -y$

Thế vào phương trình sau ta có

$x^2 + x^2 + 4x - 4x - 8 = 0$

$\Leftrightarrow x^2 -4 = 0$

$\Leftrightarrow x = \pm 2$

Suy ra $y = \mp 2$

Vậy $S = \{ (2, -2), (-2, 2) \}$.

d) Phương trình sau tương đương với

$(x^2 + y^2 + 2xy) - 2(x+y) - 3xy = -3$

$\Leftrightarrow (x+y)^2 - 2(x+y) - 3xy + 3 = 0$          (2)

Từ ptrinh đầu ta có

$xy = 11 - x-y$

Thế vào (2) ta có

$(x+y)^2 - 2(x+y) - 3(11-x-y) +3 = 0$

$\Leftrightarrow (x+y)^2 +(x+y) -30 = 0$

Đặt $t = x + y$. Khi đó ta có

$t^2 +t - 30 = 0$

$\Leftrightarrow (t-5)(t+6) = 0$

Vậy $x + y = 5$ hoặc $x + y = -6$

TH1: $x + y = 5$

Suy ra $y = 5-x$. Thay vào phương trình đầu ta có

$x + x(5-x) + 5-x = 11$

$\Leftrightarrow -x^2 +5x -6 = 0$

$\Leftrightarrow (x-2)(x-3) = 0$

Vậy $x = 2$ hoặc $x = 3$. Suy ra $y = 3$ hoặc $y = 2$.

TH2: $x + y = -6$

Suy ra $y = -6-x$. Thay vào phương trình đầu ta có

$x + x(-6-x) -6-x = 11$

$\Leftrightarrow -x^2 -6x -17 = 0$

$\Leftrightarrow x^2 + 6x + 17 = 0$

$\Leftrightarrow (x+3)^2 + 8 = 0$ (vô lý)

Vậy $S = \{(2,3), (3,2) \}$.