Theo đề bài ta có
$a^2 + b^2 = (a+b)^2 - 2ab = 4$
Vậy $ab = \dfrac{(a+b)^2 - 4}{2}$
Khi đó, M trở thành
$M = \dfrac{\dfrac{(a+b)^2 - 4}{2}}{a+b+2} = \dfrac{(a+b)^2 - 4}{2[(a+b)+2]}$
Đặt $t = a+b$, khi đó ta có
$M = \dfrac{t^2 - 4}{2(t+2)}= \dfrac{(t-2)(t+2)}{2(t+2)} = \dfrac{t-2}{2} = \dfrac{a}{2} + \dfrac{b}{2} -1$
Áp dụng BDT Bunhia Copxki ta có
$\left( \dfrac{a}{2} + \dfrac{b}{2} \right)^2 \leq \left(\dfrac{1}{2^2} + \dfrac{1}{2^2} \right)^2 (a^2 + b^2)$
$<->\left( \dfrac{a}{2} + \dfrac{b}{2} \right)^2 \leq \dfrac{1}{2} . 4$ (do $a^2 + b^2 = 4$)
$<-> \left( \dfrac{a}{2} + \dfrac{b}{2} \right)^2 \leq 2$
$<-> \dfrac{a}{2} + \dfrac{b}{2} \leq \sqrt{2}$
$<-> \dfrac{a}{2} + \dfrac{b}{2} - 1 \leq \sqrt{2} - 1$
$<-> M \leq \sqrt{2} - 1$
Dấu "=" xảy ra khi và chỉ khi $\dfrac{1}{2} : a = \dfrac{1}{2} : b$ hay $a = b$
Mặt khác, lại có $a^2 + b^2 = 4$, do đó $a = b = \sqrt{2}$
Vậy GTLN của M là $\sqrt{2}-1$ đạt được khi $a = b = \sqrt{2}$.
