Đáp án đúng: A
Phương pháp giải:
- Sử dụng phương pháp logarit cơ số 2 cả hai vế của phương trình, sau đó xét hàm đặc trưng.
- Rút \(a\) theo \(b\), từ điều kiện của \(a\) suy ra điều kiện chặt chẽ hơn của \(b\).
- Biến đổi \(P = {a^2} + {b^2} = {\left( {a + b} \right)^2} - 2ab\), đặt ẩn phụ \(t = 2ab\), lập BBT tìm miền giá trị của \(t\).
- Sử dụng phương pháp hàm số tìm GTNN của biểu thức \(P\).Giải chi tiết:Theo bài ra ta có:
\(\begin{array}{l}\,\,\,\,\,\,{2^{a + b + 2ab - 3}} = \dfrac{{1 - ab}}{{a + b}}\\ \Leftrightarrow a + b + 2ab - 3 = {\log _2}\left( {1 - ab} \right) - {\log _2}\left( {a + b} \right)\\ \Leftrightarrow a + b + 2ab - 2 = {\log _2}\left( {1 - ab} \right) + 1 - {\log _2}\left( {a + b} \right)\\ \Leftrightarrow a + b + 2ab - 2 = {\log _2}\left( {2 - 2ab} \right) - {\log _2}\left( {a + b} \right)\\ \Leftrightarrow {\log _2}\left( {a + b} \right) + a + b = {\log _2}\left( {2 - 2ab} \right) + 2 - 2ab\,\,\left( * \right)\end{array}\)
Xét hàm số \(y = {\log _2}t + t\,\,\left( {t > 0} \right)\) ta có \(y' = \dfrac{1}{{t\ln 2}} + 1 > 0\,\,\forall t > 0\), do đó hàm số đồng biến trên \(\left( {0; + \infty } \right)\).
Khi đó  \(\left( * \right) \Leftrightarrow a + b = 2 - 2ab \Leftrightarrow a\left( {1 + 2b} \right) = 2 - b \Leftrightarrow a = \dfrac{{2 - b}}{{1 + 2b}}\).
Vì \(a,\,\,b > 0 \Rightarrow \dfrac{{2 - b}}{{1 + 2b}} > 0 \Leftrightarrow 2 - b > 0 \Leftrightarrow b < 2\).
Khi đó ta có \(P = {a^2} + {b^2} = {\left( {a + b} \right)^2} - 2ab = {\left( {2 - 2ab} \right)^2} - 2ab\).
Đặt \(t = 2ab = 2\dfrac{{2 - b}}{{1 + 2b}}.b\,\,\left( {0 < b < 2} \right)\) ta có \(t = 2.\dfrac{{2b - {b^2}}}{{1 + 2b}}\)
\(\begin{array}{l} \Rightarrow t' = 2.\dfrac{{\left( {2 - 2b} \right)\left( {1 + 2b} \right) - \left( {2b - {b^2}} \right).2}}{{{{\left( {1 + 2b} \right)}^2}}}\\\,\,\,\,\,\,\,\,\,\,\, = 2.\dfrac{{2 + 4b - 2b - 4{b^2} - 4b + 2{b^2}}}{{{{\left( {1 + 2b} \right)}^2}}}\\\,\,\,\,\,\,\,\,\,\,\, = \dfrac{{4 - 4b - 4{b^2}}}{{{{\left( {1 + 2b} \right)}^2}}}\\t' = 0 \Leftrightarrow b = \dfrac{{ - 1 + \sqrt 5 }}{2}\end{array}\)
BBT:

\( \Rightarrow t \in \left( {0;3 - \sqrt 5 } \right]\).
Khi đó ta có \(P = {\left( {2 - t} \right)^2} - t = {t^2} - 5t + 4,\,\,t \in \left( {0;3 - \sqrt 5 } \right]\).
Ta có \(P' = 2t - 5 = 0 \Leftrightarrow t = \dfrac{5}{2}\,\,\left( {ktm} \right)\), do đó \({P_{\min }} = P\left( {3 - \sqrt 5 } \right) = 3 - \sqrt 5 \).
Chọn A.