Lời giải:

Có \(\sqrt{x+6\sqrt{x-9}}+m\sqrt{x+2\sqrt{x-9}-8}=x+\frac{3m+1}{2}\)

\(\Leftrightarrow \sqrt{(\sqrt{x-9}+3)^2}+m\sqrt{(\sqrt{x-9}+1)^2}=x+\frac{3m+1}{2}\)

\(\Leftrightarrow \sqrt{x-9}+3+m(\sqrt{x-9}+1)=x+\frac{3m+1}{2}\)

\(\sqrt{x-9}(m+1)=x+\frac{3m+1}{2}-m-3\)

\(\Leftrightarrow \sqrt{x-9}(m+1)=x+\frac{m-5}{2}\)

Đặt \(\sqrt{x-9}=t\) . Ta cần tìm m sao cho PT có hai nghiệm \(t_1,t_2| 0\leq t_1< 1< t_2\)

BPT tương đương:

\(t(m+1)=t^2+9+\frac{m-5}{2}\)

\(\Leftrightarrow 2t^2-2t(m+1)+(m+13)=0\)

Để PT có hai nghiệm thì; \(\Delta'=(m+1)^2-2(m+13)>0\)

\(\Leftrightarrow m^2-25>0\Leftrightarrow m>5\) hoặc \(m< -5\) (1)

Khi đó áp dụng hệ thức Viete:

\(\left\{\begin{matrix} t_1+t_2=m+1\\ t_1t_2=\frac{m+13}{2}\end{matrix}\right.\)

Để hai nghiệm thỏa mãn \(0\leq t_1< 1< t_2\Rightarrow \left\{\begin{matrix} t_1t_2\geq 0\\ (t_1-1)(t_2-1)< 0\end{matrix}\right.\)

\(\Leftrightarrow \left\{\begin{matrix} m\geq -13\\ t_1t_2-(t_1+t_2)+1< 0\end{matrix}\right.\) \(\Leftrightarrow \left\{\begin{matrix} m\geq -13\\ \frac{m+13}{2}-(m+1)+1< 0\end{matrix}\right.\)

\(\Leftrightarrow \left\{\begin{matrix} m\geq -13\\ \frac{13-m}{2}< 0\end{matrix}\right.\Leftrightarrow m> 13\) (2)

Kết hợp (1); (2) suy ra $m\geq 13$