Xét ptrinh hoành độ giao điểm
$-x^3 + (2m+1)x^2 - m - 1 = 2mx - m - 1$
$<-> -x^3 + (2m+1)x^2 - 2mx = 0$
$<-> -x(x^2 - (2m+1)x + 2m) = 0$
$<-> x(x-1)(x-2m) = 0$ (2)
Để d cắt c tại 3 điểm phân biệt thì ptrinh hoành độ giao điểm phải có 3 nghiệm phân biệt. Do đó ptrinh $x - 2m = 0$ phải có nghiệm khác 0 và 1.
Vậy $m \neq 0, \dfrac{1}{2}$.
KHi đó, tọa độ 3 giao điểm là
$A(0,-m-1), B(1,m-1), C(2m,4m^2-m-1)$
Khi đó, ta có
$OA^2 = (m+1)^2$
$OB^2 = 1^2 + (m-1)^2$
$OC^2 = (2m)^2 + (4m^2 - m - 1)^2$
Vậy
$OA^2 + OB^2 + OC^2 = m^2 + 2m + 1 + 1 + m^2 - 2m + 1 + 4m^2 + (4m^2 - m - 1)^2$
$= 6m^2 +3 + (4m^2 - m -1)^2$
$= 6m^2 + 3 + 16m^4 + m^2 + 1 -8m^3 + 2m -8m^2$
$= 16m^4 -8m^3 -m^2 +2m + 4$
Xét hso $y = 16m^4 - 8m^3 - m^2 + 2m + 4$
Ta có
$y' = 64m^3 - 24m^2 -2m + 2$
Xét ptrinh $y' = 0$
$64m^3 - 24m^2 -2m + 2 = 0$
$<-> (4m+1)(16m^2 -10m +2) = 0$
Ta có $16m^2 - 10 m + 2 > 0$
Vậy $ m = -\dfrac{1}{4}$ là điểm cực trị duy nhất.
Ta xét $y'' = 192x^2 - 48x - 2$. Khi đó $y''(-\dfrac{1}{4}) = 22>0$
Do đó $m = -\dfrac{1}{4}$ là điểm cực tiểu.
Khi đó, tọa độ điểm cực tiểu là $(-\dfrac{1}{4},\dfrac{29}{8})$
Vậy $OA^2 + OB^2 + OC^2$ đạt GTNN là $\dfrac{29}{8}$ với $m = -\dfrac{1}{4}$.
