$y=(x\sin a+\cos a)(x\cos a-\sin a)$
$=x^2\sin a\cos a-x\sin^2a+x\cos^2x-\sin a\cos a$
$=x^2\sin a\cos a+x\cos2a -\sin a\cos a$
$=\dfrac{x^2}{2}\sin2a+x\cos2a-\dfrac{\sin2a}{2}$
$y'=\dfrac{1}{2}\Big[(x^2)'\sin 2a+x^2(\sin 2a)'] + \cos 2a+x(\cos 2a)'-\cos2a$
$=\dfrac{1}{2}\Big(2x\sin2a+2x^2\cos2a\Big) +\cos 2a-2x\sin2a-\cos2a$
$=x\sin2a+x^2\cos2a-2x\sin2a$
$=x^2\cos2a-x\sin2a$