1) $xy\left(a^2+2b^2\right)-ab\left(2x^2+y^2\right)$

$=a^2xy+2b^2xy-2abx^2-aby^2$

$=\left(a^2xy-aby^2\right)+\left(2b^2xy-2abx^2\right)$

$=ay\left(ax-by\right)+2bx\left(by-ax\right)$

$=ay\left(ax-by\right)-2bx\left(ax-by\right)$

$=\left(ax-by\right)\left(ay-2bx\right)$

2) Sửa đề $\left(xy+ab\right)^2+\left(bx-ay\right)^2$

$=\left(xy\right)^2+2xyab+\left(ab\right)^2+\left(bx\right)^2-2xyab+\left(ay\right)^2$

$=x^2y^2+a^2b^2+b^2x^2+a^2y^2$

$=\left(x^2y^2+b^2x^2\right)+\left(a^2b^2+a^2y^2\right)$

$=x^2\left(b^2+y^2\right)+a^2\left(b^2+y^2\right)$

$=\left(b^2+y^2\right)\left(x^2+a^2\right)$

3) $\left(2xy+ab\right)^2+\left(2ay-bx\right)^2$

$=\left(2xy\right)^2+2.2xyab+\left(ab\right)^2+\left(2ay\right)^2-2.2xyab+\left(bx\right)^2$

$=4x^2y^2+4xyab+a^2b^2+4a^2y^2-4xyab+b^2x^2$

$=4x^2y^2+4a^2y^2+a^2b^2+b^2x^2$

$=4y^2\left(x^2+a^2\right)+b^2\left(a^2+x^2\right)$

$=\left(a^2+x^2\right)\left(4y^2+b^2\right)$