Đáp án:

 a) $S = \left\{ {\left( {0;17} \right);\left( {1;4} \right);\left( {17;0} \right);\left( {4;1} \right);\left( { - 1; - 9} \right);\left( { - 9; - 1} \right)} \right\}$

b) $S = \left\{ {\left( {0;0} \right);\left( {3;12} \right)} \right\}$

Giải thích các bước giải:

 a) Ta có:

$\begin{array}{l}
a)3xy + x + y = 17\\
 \Leftrightarrow x\left( {3y + 1} \right) + y = 17\\
 \Leftrightarrow 3x\left( {3y + 1} \right) + 3y = 51\\
 \Leftrightarrow 3x\left( {3y + 1} \right) + 3y + 1 = 52\\
 \Leftrightarrow \left( {3y + 1} \right)\left( {3x + 1} \right) = 52\\
 \Leftrightarrow \left[ \begin{array}{l}
\left\{ \begin{array}{l}
3x + 1 = 1\\
3y + 1 = 52
\end{array} \right.\\
\left\{ \begin{array}{l}
3x + 1 = 4\\
3y + 1 = 13
\end{array} \right.\\
\left\{ \begin{array}{l}
3x + 1 = 52\\
3y + 1 = 1
\end{array} \right.\\
\left\{ \begin{array}{l}
3x + 1 = 13\\
3y + 1 = 4
\end{array} \right.\\
\left\{ \begin{array}{l}
3x + 1 =  - 2\\
3y + 1 =  - 26
\end{array} \right.\\
\left\{ \begin{array}{l}
3x + 1 =  - 26\\
3y + 1 =  - 2
\end{array} \right.
\end{array} \right.\left( {do:x,y \in Z} \right) \Leftrightarrow \left[ \begin{array}{l}
x = 0;y = 17\\
x = 1;y = 4\\
x = 17;y = 0\\
x = 4;y = 1\\
x =  - 1;y =  - 9\\
x =  - 9;y =  - 1
\end{array} \right.
\end{array}$

Vậy tập nghiệm của phương trình là: $S = \left\{ {\left( {0;17} \right);\left( {1;4} \right);\left( {17;0} \right);\left( {4;1} \right);\left( { - 1; - 9} \right);\left( { - 9; - 1} \right)} \right\}$

$\begin{array}{l}
b)4x + 11y = 4xy\\
 \Leftrightarrow 4x + 11y - 4xy = 0\\
 \Leftrightarrow 4x\left( {1 - y} \right) + 11y = 0\\
 \Leftrightarrow 4x\left( {1 - y} \right) - 11\left( {1 - y} \right) =  - 11\\
 \Leftrightarrow \left( {1 - y} \right)\left( {4x - 11} \right) =  - 11\\
 \Leftrightarrow \left[ \begin{array}{l}
\left\{ \begin{array}{l}
1 - y = 1\\
4x - 11 =  - 11
\end{array} \right.\\
\left\{ \begin{array}{l}
1 - y =  - 1\\
4x - 11 = 11
\end{array} \right.\\
\left\{ \begin{array}{l}
1 - y = 11\\
4x - 11 =  - 1
\end{array} \right.\\
\left\{ \begin{array}{l}
1 - y =  - 11\\
4x - 11 = 1
\end{array} \right.
\end{array} \right.\left( {do:x,y \in Z} \right) \Leftrightarrow \left[ \begin{array}{l}
x = 0;y = 0\\
x = \dfrac{{11}}{2};y = 2\left( l \right)\\
x = \dfrac{5}{2};y =  - 10\left( l \right)\\
x = 3;y = 12
\end{array} \right.
\end{array}$

Vậy tập nghiệm của phương trình là: $S = \left\{ {\left( {0;0} \right);\left( {3;12} \right)} \right\}$