Đặt t = ab, suy ra 0<ab⩽1 Ta có (1−a)(1−b)⩾0 nên ab+1⩾a+b (1−a2)(1−b2)⩾0 nên a2b2+1⩾a2+b2 a5b+ab5>2a3b3 Suy ra P⩾2(ab)3+(ab)2+16−3(1+ab)=2t3+t2+16−3t−3 Xét f(t)=2t3+t2+16−3t−3, với t∈(0;1] Ta có: f′(t)=6t2−(t2+1)212t−3=(t2+1)23(t−1)(2t5+2t4+5t3+5t2+5t+1) Suy ra f′(t)<0,∀t∈(0;1), nghĩa là f(t) giảm trên khoảng (0;1) Do đó f(t)⩾f(1)=−1. Suy ra P⩾−1 Ta có a = 1, b = 1 thỏa mãn đề bài và khi đó P = −1. Vậy giá trị nhỏ nhất của P là −1.