PT có 2 nghiệm $\Leftrightarrow \Delta =25-4(4-9m)\ge 0$
$\Leftrightarrow 36m+9\ge 0$
$\Leftrightarrow m\ge \dfrac{-1}{4}$
Theo Viet: $\begin{cases} x_1+x_2=-5(1)\\ x_1x_2=4-9m(2) \end{cases}$
Ta có $x_1(x_1^2-1)-x_2(8x_2^2+1)=5$
$\Leftrightarrow x_1^3-8x_2^3-(x_1+x_2)=5$
$\Leftrightarrow x_1^3-8x_2^3-(-5)=5$
$\Leftrightarrow x_1^3=8x_2^3$
$\Leftrightarrow (x_1)^3=(2x_2)^3$
$\Leftrightarrow x_1=2x_2$
Kết hợp (1) được:
$\begin{cases} x_1+x_2=-5\\ x_1=2x_2 \end{cases}\Leftrightarrow\begin{cases} x_1=2x_2\\ 3x_2=-5 \end{cases}\Leftrightarrow\begin{cases} x_1=\dfrac{-10}{3}\\ x_2=\dfrac{-5}{3} \end{cases}$
Thay vào (2) ta có:
$\dfrac{-10}{3}.\dfrac{-5}{3}=4-9m$
$\Leftrightarrow m=\dfrac{-14}{81}(tm)$
Vậy $m=\dfrac{-14}{81}$