Ta thấy đa thức $A$ có bậc 4, nên nó phải là bình phương của một đa thức bậc hai.
Giả sử đa thức bậc 2 đó là
$B(x) = ax^2 + cx + d$
Do hệ số tự do là 1 và hệ số của $x^4$ là 1 nên ta có $a = d = 1$. Suy ra
$B(x) = x^2 + cx +1$
Ta lại có
$A(x) = B^2(x)$
$\Leftrightarrow x^4 - 6x^3 + ax^2 + bx + 1 = (x^2 + cx + 1)^2$
$\Leftrightarrow x^4 - 6x^3 + ax^2 + bx + 1 = x^4 + c^2 x^2 + 1 + 2cx^3 + 2cx + 2x^2$
$\Leftrightarrow x^4 -6x^3 + ax^2 + bx + 1 = x^4 + 2cx^3 + (c^2 + 2)x^2 + 2cx + 1$
Do hai đa thức bằng nhau nên hệ số của các lũy thừa tương ứng phải bằng nhau, suy ra
$\begin{cases} -6 = 2c,\\ a = c^2 + 2,\\ b = 2c \end{cases}$
Giải ra ta có $c = -3, a = 11, b = -6$.
Vậy $a = 11, b = -6$ và
$A = (x^2 - 3x + 1)^2$