Ptrinh tương đương vs
$\cos^2(2x) (\cos(2x) - 1) = m\sin^2x$
$<-> \cos^2(2x) (1 - 2\sin^2x - 1) = m\sin^2x$
$<-> -\cos^2(2x) .2\sin^2x = m\sin^2x$
Vậy $\sin^2x = 0$ hay $x = k\pi$ hoặc
$-2\cos^2(2x) = m$
Áp dụng công thức hạ bậc ta có
$-(1 + \cos(4x)) = m$
$<-> \cos(4x) = -m-1(2)$
Do $x = k\pi \notin (0, \dfrac{\pi}{6})$ nên để ptrinh có nghiệm nằm trong khoảng đó thì (2) phải có nghiệm trong khoảng đó.
Để 2 có nghiệm thì $-1 \leq -m-1 \leq 1$ hay $-2 \leq m \leq 0$
$x \in (0, \dfrac{\pi}{6})$ thì $4x \in (0, \dfrac{2\pi}{3})$ và do đó
$\cos(4x) \in (-\dfrac{1}{2}, 1)$
Vậy $-\dfrac{1}{2} < -m-1 < 1$ hay $-2 < m < -\dfrac{1}{2}$.
Kết hợp vs đk ta có
$-2 < m < -\dfrac{1}{2}$.