\((1)\Leftrightarrow \left\{\begin{matrix} x-y+\sqrt{(x-y)(y+1)}-2(y+1)=0 \ (1)\\ 3\sqrt{8-x}-4\sqrt{y+1}=x^2-14y-12 \ \ (2) \end{matrix}\right.\) Điều kiện: \(x \leq 8, y \geq -1, (x - y)(y + 1) \geq 0 (*)\) Nếu (x ; y) là nghiệm của hệ (I) thì y > – 1. Suy ra x – y \(\geq\) 0 Do đó: \((1)\Leftrightarrow \frac{x-y}{y+1}+\sqrt{\frac{x-y}{y+1}}-2=0\Leftrightarrow \sqrt{\frac{x-y}{y+1}} =1\Leftrightarrow \frac{x-y}{y+1}=1\Leftrightarrow x=2y+1\) Thay x = 2y + 1 vào (2) ta được: \(3\sqrt{7-2y}-4\sqrt{y+1}=(2y+1)^2-14y-12\) \(\Leftrightarrow 4\sqrt{y+1}-3\sqrt{7-2y}+4y^2-10y-11=0\) \(\Leftrightarrow 4(\sqrt{y+1}-2)-3(\sqrt{7-2y}-1)+4y^2-10y-6=0\) \(\Leftrightarrow (y-3)\left ( \frac{2}{\sqrt{y+1}+2}+\frac{3}{\sqrt{7-2y}+1}+2y+ 1 \right )=0 \ \ (3)\) Vì \(-1 \frac{3}{4},2y+1> -1\)
\(\Rightarrow \frac{2}{\sqrt{y+1}+2}+\frac{3}{\sqrt{7-2y}+1}+2y+1>0\) Do đó \((3)\Leftrightarrow y-3=0\Leftrightarrow y=3\) \(\Rightarrow\) x = 7 (thỏa (*)). Vậy hệ phương trình đã cho có một nghiệm (x ; y) = (7 ; 3)