Ta có :
\(\left\{{}\begin{matrix}x\left(x+1\right)+y\left(y+1\right)=8\\x+y+xy=5\end{matrix}\right.\)
\(\Leftrightarrow\left\{{}\begin{matrix}x^2+y^2+x+y=8\\x+y+xy=5\end{matrix}\right.\)
Đặt : \(x+y=S\) ; \(xy=P\) thì phương trình trở thành :
\(\left\{{}\begin{matrix}S^2-2P+S=8\left(1\right)\\S+P=5\left(2\right)\end{matrix}\right.\)
\(\Leftrightarrow\left\{{}\begin{matrix}S^2-2P+S=8\\2S+2P=10\end{matrix}\right.\)
\(\Leftrightarrow S^2+3S=18\)
\(\Leftrightarrow S^2+3S-18=0\)
\(\Leftrightarrow\left(S-3\right)\left(S+6\right)=0\)
\(\Leftrightarrow\left[{}\begin{matrix}S-3=0\\S+6=0\end{matrix}\right.\Leftrightarrow\left[{}\begin{matrix}S=3\\S=-6\end{matrix}\right.\)
Thay \(S=3\) và \(S=-6\) vào phương trình 2 thì ta có :
\(\left[{}\begin{matrix}S=3\Rightarrow P=2\\S=-6\Rightarrow P=11\end{matrix}\right.\)
Khi \(S=3\) và \(P=2\) :
\(\Leftrightarrow\left[{}\begin{matrix}x+y=3\\xy=2\end{matrix}\right.\)
\(\Leftrightarrow x^2-3x+2=0\)
\(\Leftrightarrow\left(x-1\right)\left(x-2\right)=0\)
\(\Leftrightarrow\left[{}\begin{matrix}x-1=0\\x-2=0\end{matrix}\right.\Leftrightarrow\left[{}\begin{matrix}x=1\\x=2\end{matrix}\right.\Leftrightarrow\left[{}\begin{matrix}y=2\\y=1\end{matrix}\right.\)
Khi\(S=-6\) và \(P=11\) :
\(\Leftrightarrow\left[{}\begin{matrix}x+y=-6\\xy=11\end{matrix}\right.\)
\(\Leftrightarrow x^2+6x+11=0\)
Phương trình vô nghiệm .
Vậy \(\left\{{}\begin{matrix}\left(x;y\right)=\left(1;2\right)\\\left(x;y\right)=\left(2;1\right)\end{matrix}\right.\)