Để ptrinh có 2 nghiệm phân biệt $x_1, x_2$ thì $\Delta' > 0$ hay
$(m+1)^2 - (m^2-3) >0$
$<-> 2m + 1 + 3 > 0$
$<-> m +2 > 0$
$<-> m > -2$
Vậy $m > -2$
Áp dụng Viet ta có
$x_1 + x_2 = 2(m+1), x_1 x_2 = m^2-3$
Ta có
$x_1^2 + x_2^2 = 20$
$<-> (x_1 + x_2)^2 - 2x_1 x_2 = 20$
$<-> 4(m+1)^2 - 2(m^2 - 3) = 20$
$<-> 2m^2 +8m -10 = 0$
$<-> m^2 + 4m - 5 = 0$
$<-> (m-1)(m+5) =0$
Vậy $m = 1$ hoặc $m = -5$ (loại)
Vậy $m = 1$.