Đáp án đúng: C

Phương pháp giải:
- Gắn hệ trục tọa độ, xác định tọa độ các điểm \(S,\,\,A,\,\,B,\,\,C,\,\,M\).
- Sử dụng công thức \(\cos \left( {\left( P \right);\left( Q \right)} \right) = \dfrac{{\left| {\overrightarrow {{n_P}} .\overrightarrow {{n_Q}} } \right|}}{{\left| {\overrightarrow {{n_P}} } \right|.\left| {\overrightarrow {{n_Q}} } \right|}}\).
Giải chi tiết:
Chọn hệ trục tọa độ như hình vẽ, coi \(a = 1\). Khi đó ta có:
\(B\left( {0;0;0} \right),\,\,A\left( {1;0;0} \right),\,\,C\left( {0;1;0} \right),\,\,S\left( {1;0;\sqrt 3 } \right)\).
Vì \(M\) là trung điểm của \(AC\) nên \(M\left( {\dfrac{1}{2};\dfrac{1}{2};0} \right)\).
Ta có:
\(\overrightarrow {SB}  = \left( { - 1;0; - \sqrt 3 } \right)\), \(\overrightarrow {BM}  = \left( {\dfrac{1}{2};\dfrac{1}{2};0} \right)\) \( \Rightarrow \left[ {\overrightarrow {SB} ;\overrightarrow {BM} } \right] = \left( {\dfrac{{\sqrt 3 }}{2}; - \dfrac{{\sqrt 3 }}{2}; - \dfrac{1}{2}} \right)\).
\( \Rightarrow \left( {SBM} \right)\) có 1 VTPT là \(\overrightarrow {{n_1}}  = \left( {\sqrt 3 ; - \sqrt 3 ; - 1} \right)\).
\(\left( {SAB} \right) \equiv \left( {Oxz} \right)\) có 1 VTPT là \(\overrightarrow {{n_2}}  = \overrightarrow k  = \left( {0;1;0} \right)\).
Gọi \(\alpha \) là góc giữa hai mặt phẳng \(\left( {SBM} \right)\) và \(\left( {SAB} \right)\).
\( \Rightarrow \cos \alpha  = \dfrac{{\left| {\overrightarrow {{n_1}} .\overrightarrow {{n_2}} } \right|}}{{\left| {\overrightarrow {{n_1}} } \right|.\left| {\overrightarrow {{n_2}} } \right|}} = \dfrac{{\left| {\sqrt 3 .0 - \sqrt 3 .1 - 1.0} \right|}}{{\sqrt {3 + 3 + 1} .\sqrt {0 + 1 + 0} }} = \dfrac{{\sqrt {21} }}{7}\).
\( \Rightarrow \sin \alpha  = \sqrt {1 - {{\left( {\dfrac{{\sqrt {21} }}{7}} \right)}^2}}  = \dfrac{{2\sqrt 7 }}{7}\).
Vậy \(\cot \alpha  = \dfrac{{\cos \alpha }}{{\sin \alpha }} = \dfrac{{\sqrt 3 }}{2}\).
Chọn C.