Vì đa thức có hệ số cao nhất là 1 và cũng bình phương của 1 đa thức nên đa thức có dạng: \((x^2+cx+1)^2\)
Khai triển ta có: \(A=x^4+2cx+(c^2+2)x^2+2cx+1\)
Đồng nhất hệ số ta có:
\(\begin{cases}2c=-6\\c^2+2=a\\2c=b\end{cases}\Leftrightarrow\begin{cases}c=-3\\a=11\\b=-6\end{cases}\)
Vậy \(a=11;b=-6\)