$Δ=(-2)²-4.1.(-3m²)=4+12m²$ ($m\neq0$)

Để pt có 2 nghiệm $⇔Δ≥0$
$⇔4+12m²≥0$ (luôn đúng)
Vậy pt luôn có 2 nghiệm phân biệt, theo định lí $viet$ ta có:

$\begin{cases} x1+x2=-\dfrac{b}{a}=2\\ x1.x2=\dfrac{c}{a}=-3m²\end{cases}$

Ta có:

$\dfrac{x1}{x2}-\dfrac{x2}{x1}=\dfrac{8}{3}$ 

$⇔\dfrac{x1²-x2²}{x1x2}=\dfrac{8}{3}$

$⇔\dfrac{(x1-x2)(x1+x2)}{x1x2}=\dfrac{8}{3}$

$⇔\dfrac{\sqrt{(x1-x2)²}.(x1+x2)}{x1x2}=\dfrac{8}{3}$

$⇔\dfrac{\sqrt{(x1+x2)²-4x1x2}.(x1+x2)}{x1x2}=\dfrac{8}{3}(*)$

Thay $x1+x2=2$ và $x1.x2=-3m²$ vào $(*)$ ta có:

$\dfrac{\sqrt{2²-4.(-3m²)}.2}{-3m²}=\dfrac{8}{3}$

$⇔\dfrac{\sqrt{4+12m²}.2}{-3m²}=\dfrac{8}{3}$

$⇔-2\sqrt{4+12m²}=8m²$

$⇔\sqrt{4+12m²}=-4m²$

$⇔4+12m²=16m^4$

$⇔16m^4-12m²-4=0$

$⇔16m^4-16m²+4m²-4=0$

$⇔16m².(m²-1)+4.(m²-1)=0$

$⇔(m²-1)(16m²+4)=0$

$⇔(m-1)(m+1)(16m²+4)=0$

$⇔$ \(\left[ \begin{array}{l}m-1=0\\m+1=0\end{array} \right.\) 

$⇔$ \(\left[ \begin{array}{l}m=1\\x=-1\end{array} \right.\) 

Vậy $m=±1$ thì pt có 2 nghiệm $x1,x2$ khác $0$ thỏa $\dfrac{x1}{x2}-\dfrac{x2}{x1}=\dfrac{8}{3}$ 

Đáp án: m=1 hoặc m=-1.

Giải thích các bước giải:

Phương trình có 2 nghiệm khác 0 nên

$\begin{array}{l}
 \Rightarrow {0^2} - 2.0 - 3{m^2} \ne 0\\
 \Rightarrow m \ne 0
\end{array}$

Để pt có 2 nghiệm thì:

$\begin{array}{l}
\Delta ' \ge 0\\
 \Rightarrow 1 + 3{m^2} \ge 0\left( {luôn\,đúng} \right)\\
Theo\,Viet:\left\{ \begin{array}{l}
{x_1} + {x_2} = 2\\
{x_1}.{x_2} =  - 3{m^2}
\end{array} \right.\\
\dfrac{{{x_1}}}{{{x_2}}} - \dfrac{{{x_2}}}{{{x_1}}} = \dfrac{8}{3}\\
 \Rightarrow \dfrac{{x_1^2 - x_2^2}}{{{x_1}{x_2}}} = \dfrac{8}{3}\\
 \Rightarrow 3.\left( {x_1^2 - x_2^2} \right) = 8{x_1}{x_2}\\
 \Rightarrow 3.\left( {{x_1} + {x_2}} \right).\left( {{x_1} - {x_2}} \right) = 8.\left( { - 3{m^2}} \right)\\
 \Rightarrow 2.\left( {{x_1} - {x_2}} \right) =  - 8{m^2}\\
 \Rightarrow {x_1} - {x_2} =  - 4{m^2}\\
 \Rightarrow {x_2} - {x_1} = 4{m^2}\\
 \Rightarrow {\left( {{x_2} - {x_1}} \right)^2} = 16{m^4}\\
 \Rightarrow {\left( {{x_2} + {x_1}} \right)^2} - 4{x_1}{x_2} = 16{m^4}\\
 \Rightarrow 4 - 4.\left( { - 3{m^2}} \right) = 16{m^4}\\
 \Rightarrow 1 + 3{m^2} = 4{m^4}\\
 \Rightarrow 4{m^4} - 3{m^2} - 1 = 0\\
 \Rightarrow \left( {4{m^2} + 1} \right)\left( {{m^2} - 1} \right) = 0\\
 \Rightarrow {m^2} = 1\left( {do:4{m^2} + 1 > 0} \right)\\
 \Rightarrow \left[ \begin{array}{l}
m = 1\left( {tm} \right)\\
m =  - 1\left( {tm} \right)
\end{array} \right.
\end{array}$

Vậy m=1 hoặc m=-1.