+) Trường hợp 1: $f'(x)≥0$ $(1)$ và $f(x)≥0$ $(2)$ trên $(1;2)$
Giải $(1)$, ta có:
$-x^2+(2m+3)x-m^2-3m≥0$, $∀x∈[1;2]$
Xét hàm số $g(x)=-x^2+(2m+3)x-m^2-3m=0$ có $2$ nghiệm lần lượt là $m$ và $m+3$
Yêu cầu bài toán tương đương $m≤1$ và $m+3≥2 ↔ -1≤m≤1$
Giải $(2)$, ta có:
$f(x)≥0 ↔ f(1)≥0$
$↔ \dfrac{-1}{3}+m+\dfrac{3}{2}-m^2-3m+\dfrac{2}{3}≥0$
$↔ \dfrac{-6-\sqrt[]{102}}{6}≤m≤\dfrac{-6+\sqrt[]{102}}{6}$
Vậy $-1≤m≤\dfrac{-6+\sqrt[]{102}}{6}$.
+) Trường hợp 2: $f'(x)≤0$ $(3)$ và $f(x)≤0$, $∀x∈(1;2)$ $(4)$
Giải $(3)$, ta có:
$\left[ \begin{array}{l}m≥2\\m+3≤1\end{array} \right.$
$↔ \left[ \begin{array}{l}m≥2\\m≤-2\end{array} \right.$
Giải $(4)$, ta có:
$f(x)≤0 ↔ f(2)≤0$
$↔ \dfrac{-8}{3}+2(2m+3)-2(m^2+3m)+\dfrac{2}{3}≥0$
$↔ -2≤m≤1$
Vậy $m∈∅$.
Kết luận toàn bài: Vì $m∈Z$ nên $m=-1$ hoặc $m=0$ là giá trị thỏa mãn
(Đáp án $B$).
