$x^2-3x+m=0$
Để pt có 2 nghiệm pb thì ∆>0
$\Leftrightarrow 9-4m>0\Leftrightarrow m<\dfrac{9}{4}$
Theo Vi-et ta có
$\left\{\begin{matrix}x_1+x_2=3\\x_1x_2=m\end{matrix}\right.$
Mà $\sqrt{x_1^2+1}+\sqrt{x_2^2+1}=3\sqrt{3}\\ \Rightarrow x_1^2+1+2\sqrt{x_1^2+x_2^2+x_1^2x_2^2+1}+x_2^2+1=27\\ \Leftrightarrow (x_1+x_2)^2-2x_1x_2+2\sqrt{(x_1+x_2)^2-2x_1x_2+(x_1x_2)^2+1}=25\\ \Leftrightarrow 9-2m+2\sqrt{9-2m+m^2+1}=25\\ \Leftrightarrow 4(m^2-2m+10)=(2m+16)^2\\ \Leftrightarrow 4m^2-8m+40=4m^2+64m+256\\ \Leftrightarrow 72m=-216\\ \Leftrightarrow m=-3\ (t/m)$
Vậy $m=-3$ là giá trị cần tìm.