`x^2-2(m-1)x+m^2-3=0`
`Delta'=[-(m-1)]^2-(m^2-3)`
`=m^2-2m+1-m^2+3`
`=-2m+4`
Để phương trình có nghiệm thì: `Delta'\geq0`
`<=>-2m+4\geq0`
`<=>-2m\geq-4`
`<=>m\leq2`
Theo hệ thức Vi - ét ta có: $\begin{cases}x_1+x_2=2m-2(1)\\x_1x_2=m^2-3(2)\end{cases}$
Lại có: `x_1^2+x_2^2<10`
`<=>x_1^2+2x_1x_2+x_2^2-2x_1x_2<10`
`<=>(x_1+x_2)^2-2x_1x_2<10` `(3)`
Thế `(1)` và `(2)` vào `(3)` ta có:
`(2m-2)^2-2(m^2-3)<10`
`<=>4m^2-8m+4-2m^2+6<10`
`<=>2m^2-8m<0`
`<=>2m(m-4)<0`
`<=>` \(\left[ \begin{array}{l}\begin{cases}2m<0\\m-4>0\end{cases}\\\begin{cases}2m>0\\m-4<0\end{cases}\end{array} \right.\)`<=>` \(\left[ \begin{array}{l}\begin{cases}m<0\\m>4\end{cases}\\\begin{cases}m>0\\m<4\end{cases}\end{array} \right.\)`<=>0<m<4`
Kết hợp với điều kiện ta được: `0<m\leq2`