10a) $x^2 - 7x - 8 = 0$
$\Leftrightarrow (x+1)(x-8)= 0$
$\Leftrightarrow \left[\begin{array}{l}x + 1 = 0\\x - 8 = 0\end{array}\right.$
$\Leftrightarrow \left[\begin{array}{l}x = -1\\x = 8\end{array}\right.$
Vậy $S =\{-1;8\}$
b) $x^2 - 2x + m - 3 = 0\quad (*)$
Phương trình có hai nghiệm phân biệt
$\Leftrightarrow \Delta_{(*)}' > 0$
$\Leftrightarrow 1 - (m-3) > 0$
$\Leftrightarrow m < 4$
Áp dụng định lý Viète ta được:
$\begin{cases}x_1 + x_2= 2\\x_1x_2 = m-3\end{cases}$
Khi đó:
$\quad x_1^3x_2 + x_1x_2^3 = -6$
$\Leftrightarrow x_1x_2(x_1^2 + x_2^2)= -6$
$\Leftrightarrow x_1x_2[(x_1+x_2)^2 - 2x_1x_2] = -6$
$\Leftrightarrow (m-3)[4 - 2(m-3)]=-6$
$\Leftrightarrow -2(m^2 - 6m + 9) + 4(m-3) + 6 = 0$
$\Leftrightarrow 2m^2 - 16m + 24 = 0$
$\Leftrightarrow \left[\begin{array}{l}m = 2\quad (nhận)\\m = 6\quad (loại)\end{array}\right.$
Vậy $m = 2$
