$A=a\left(a^2+2b\right)+b\left(b^2-a\right)$

$=a^3+2ab+b^3-ab=a^3+b^3+ab$

$=\left(a+b\right)\left(a^2-ab+b^2\right)+ab$

$=a^2-ab+b^2+ab\left(a+b=1\right)$

$=a^2+b^2$. Áp dụng BĐT Cauchy-Schwarz ta có:

$\left(1^2+1^2\right)\left(a^2+b^2\right)\ge\left(a+b\right)^2=1$

$\Rightarrow2\left(x^2+y^2\right)\ge1\Rightarrow x^2+y^2\ge\dfrac{1}{2}\Rightarrow A\ge\dfrac{1}{2}$

Đẳng thức xảy ra khi $a=b=\dfrac{1}{2}$