Áp dụng BĐT Cauchy ta có
$3a \sqrt{3a (a + 2b)} \leq \dfrac{9a^2 + 3a(a+2b)}{2}$
$= \dfrac{12a^2 + 6ab}{2}$
$= 6a^2 + 3ab$
Áp dụng BĐT Cauchy một lần nữa ta có
$ab \leq \dfrac{a^2 + b^2}{2} \leq \dfrac{2}{2} = 1$
Suy ra
$3a \sqrt{3a (a + 2b)} \leq 6a^2 + 3$
$<-> a \sqrt{3a (a + 2b)} \leq 2a^2 + 1$
CMTT ta có
$b\sqrt{3b(b + 2a)} \leq 2b^2 + 1$
Cộng vế với vế ta có
$a \sqrt{3a (a + 2b)} + b\sqrt{3b(b + 2a)} \leq 2(a^2 + b^2) + 2 = 2.2 + 2 = 6$
Dấu "=" xảy ra khi $a = b$ và $a^2 + b^2 = 2$. Suy ra $a = b = 1$.
Vậy dấu "=" xảy ra khi $a = b = 1$.
