$\text{Theo đề bài ta có }$
$\text{ P=ab(a-b)}$
$\text{⇔P²=(ab).(ab).(a-b)²}$
$\text{⇔4P²=(2ab).(2ab).(a-b)²}$
$\text{Áp dụng bất đẳng thức AM-GM ta có}$
$\text{4P²=(2ab).(2ab).(a-b)²}$
$\text{≤($\frac{2ab+2ab+(a-b)²}{3}$ )³}$
$\text{=($\frac{(a+b)²}{3}$ )³}$
$\text{≤($\frac{3²}{3}$ )³ (do a+b≤3)}$
$\text{=27}$
$\text{⇒P²≤$\frac{27}{4}$ }$
$\text{⇔P≤$\frac{3.\sqrt[]{3}}{2}$}$
$\text{Vậy Max P=$\frac{3.\sqrt[]{3}}{2}$}$
$\text{Dấu "=" (a;b)=($\frac{3-\sqrt[]{3}}{2}$;$\frac{3+\sqrt[]{3}}{2}$) và hoán vị}$
