Đặt: $|\vec{a}|=a, |\vec{b}|=b$
$\vec{u}=\vec{a}+2\vec{b}$
$\vec{v}=5\vec{a}-4\vec{b}$
Theo bài, $\vec{u}.\vec{v}=0$
$\Rightarrow (\vec{a}+2\vec{b})(5\vec{a}-4\vec{b})=0$
$\Leftrightarrow 5a^2-8b^2+6\vec{a}.\vec{b}=0$
$\Leftrightarrow 6\vec{a}.\vec{b}=-5a^2+8b^2$
$\Leftrightarrow 6ab\cos(\vec{a},\vec{b})=-5a^2+8b^2$
$\Leftrightarrow \cos(\vec{a},\vec{b})=\dfrac{-5a^2+8b^2}{6ab}$