Đáp án đúng: A

Phương pháp giải:
Biến đổi phương trình (1) về dạng phương trình tích, giải phương trình.
Thế vào phương trình (2) để giải hệ phương trình.
Giải chi tiết:\(\left\{ \begin{array}{l}\left( {3x - y - 1} \right)\sqrt {y + 1}  + 3x - 1 = y\sqrt {3x - y}  & \,\,\,\,\,\,\,\,\,\left( 1 \right)\\{x^2} + {y^2} = 5 & \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\left( 2 \right)\end{array} \right.\)
Điều kiện: \(3x - y \ge 0;\,\,\,y \ge  - 1.\)
\(\begin{array}{l}\left( 1 \right) \Leftrightarrow \left( {3x - y - 1} \right)\sqrt {y + 1}  + \left( {3x - 1} \right) - y\sqrt {3x - y}  = 0\\ \Leftrightarrow \left( {3x - y - 1} \right)\sqrt {y + 1}  + \left( {3x - y - 1} \right) + y - y\sqrt {3x - y}  = 0\\ \Leftrightarrow \left( {3x - y - 1} \right)\left( {\sqrt {y + 1}  + 1} \right) - y\left( {\sqrt {3x - y}  - 1} \right) = 0\\ \Leftrightarrow \left( {\sqrt {3x - y}  - 1} \right)\left( {\sqrt {3x - y}  + 1} \right)\left( {\sqrt {y + 1}  + 1} \right) - y\left( {\sqrt {3x - y}  - 1} \right) = 0\\ \Leftrightarrow \left( {\sqrt {3x - y}  - 1} \right)\left[ {\left( {\sqrt {3x - y}  + 1} \right)\left( {\sqrt {y + 1}  + 1} \right) - y} \right] = 0\\ \Leftrightarrow \left( {\sqrt {3x - y}  - 1} \right)\left[ {\sqrt {3x - y} \left( {\sqrt {y + 1}  + 1} \right) + \sqrt {y + 1}  + 2 - 1 - y} \right] = 0\\ \Leftrightarrow \left( {\sqrt {3x - y}  - 1} \right)\left[ {\sqrt {3x - y} \left( {\sqrt {y + 1}  + 1} \right) - \sqrt {{{\left( {y + 1} \right)}^2}}  + \sqrt {y + 1}  + 2} \right]\\ \Leftrightarrow \left( {\sqrt {3x - y}  - 1} \right)\left[ {\sqrt {3x - y} \left( {\sqrt {y + 1}  + 1} \right) - \left( {\sqrt {y + 1}  + 1} \right)\left( {\sqrt {y + 1}  - 2} \right)} \right]\\ \Leftrightarrow \left( {\sqrt {3x - y}  - 1} \right)\left( {\sqrt {y + 1}  + 1} \right)\left( {\sqrt {3x - y}  - \sqrt {y + 1}  + 2} \right) = 0\\ \Leftrightarrow \left[ \begin{array}{l}\sqrt {3x - y}  - 1 = 0 & \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\left( 3 \right)\\\sqrt {3x - y}  - \sqrt {y + 1}  + 2 = 0 & \,\left( 4 \right)\end{array} \right.\end{array}\)
\(\left( 3 \right) \Leftrightarrow \sqrt {3x - y}  = 1 \Leftrightarrow 3x - y = 1\)\( \Leftrightarrow y = 3x - 1\)
 Thế vào phương trình \(\left( 2 \right)\) ta được:
\(\begin{array}{l}\left( 2 \right) \Leftrightarrow {x^2} + {\left( {3x - 1} \right)^2} = 5\\ \Leftrightarrow {x^2} + 9{x^2} - 6x + 1 = 5\\ \Leftrightarrow 10{x^2} - 6x - 4 = 0\\ \Leftrightarrow \left[ \begin{array}{l}x = 1 \Rightarrow y = 2\,\,\,\,\left( {tm} \right)\\x =  - \frac{2}{5} \Rightarrow y =  - \frac{{11}}{5}\,\,\,\left( {ktm} \right)\end{array} \right.\end{array}\)
\(\begin{array}{l}\left( 4 \right) \Leftrightarrow \sqrt {3x - y}  + 2 - \sqrt {y + 1}  = 0\\ \Leftrightarrow \sqrt {3x - y}  + \frac{{\left( {2 - \sqrt {y + 1} } \right)\left( {2 + \sqrt {y + 1} } \right)}}{{2 + \sqrt {y + 1} }} = 0\\ \Leftrightarrow \sqrt {3x - y}  + \frac{{4 - y - 1}}{{2 + \sqrt {y + 1} }} = 0\\ \Leftrightarrow \sqrt {3x - y}  + \frac{{3 - y}}{{2 + \sqrt {y + 1} }} = 0\,\,\,\,\,\left( 5 \right)\end{array}\)
Từ \(\left( 2 \right)\)  ta có: \(\left| y \right| \le \sqrt 5  < 3 \Rightarrow 3 - y > 0 \Rightarrow \left( 5 \right)\) vô nghiệm.
Vậy tập nghiệm \(S = \left\{ {\left( {1;2} \right)} \right\}\).
Chọn A.