(1)求导函数,可得f′(x)=3ax2+2bx-a2,
∵x1=-1,x2=2是函数f(x)的两个极值点,
∴f'(-1)=0,f'(2)=0,
∴3a-2b-a2=0,12a+4b-a2=0,
解得a=6,b=-9.
∴f(x)=6x3-9x2-36x.-------------------(4分)
(2)∵x1,x2是函数f(x)的两个极值点,∴f'(x1)=f'(x2)=0.
∴x1,x2是方程3ax2+2bx-a2=0的两根,故有△=4b2+12a3>0对一切a>0,b∈R恒成立.
∴x1+x2=-,x1•x2=-,
∵a>0,∴x1•x2<0,
∴|x1|+|x2|=|x1-x2|==-------------------(6分)
由|x1|+|x2|=2得=2,
∴b2=3a2(6-a).
∵b2≥0,∴3a2(6-a)≥0,∴0<a≤6.
令h(a)=3a2(6-a),则h′(a)=36a-9a2.
当0<a<4时,h′(a)>0,∴h(a)在(0,4)内是增函数;
当4<a<6时,h′(a)<0,∴h(a)在(0,4)内是减函数;
∴当a=4时,h(a)是极大值为96,
∴h(a)在(0,6)上的最大值是96,∴b的最大值是4.…(8分)
(3)∵x1,x2是方程3ax2+2bx-a2=0的两根.∴f'(x)=3a(x-x1)(x-x2)
∵x1•x2=-,x2=a,∴x1=-
∴|g(x)|=|3a(x+)(x-a)-a(x+)|=|a(x+)[3(x-a)-1]|…(10分)
∵x1<x<x2,
∴g(x)=a(x+)(-3x+3a+1)═-3a(x+)(x-)
=-3a(x-)2++a2+a≤+a2+a=