(1)∵f(x)=lnx+ax2+bx,
∴f′(x)=+2ax+b,
∵函数f(x)=lnx+ax2+bx在x=1,x=处取得极值f'(1)=1+2a+b=0,f/()=2+a+b=0,
∴a=1,b=-3,
(2)因为f′(x)==,
令f'(x)=0,x1=1,x2=,
因为f(x)在x=1处取得极值,所以x2=≠x1=1,
<0时,f(x)在(0,1)上单调递增,在(1,e]上单调递减,
所以f(x)在区间(0,e]上的最大值为f(1),令f(1)=1,
解得a=-2,
a>0,x2=>0,
当<1时,f(x)在(0,)上单调递增,(,1)上单调递减,(1,e)上单调递增,
所以最大值1可能在x=或x=e处取得,
而f()=ln+a()2-(2a+1)=ln--1<0,
所以f(e)=lne+ae2-(2a+1)e=1,解得a=,
当1≤<e时,f(x)在区间(0,1)上单调递增,(1,)上单调递减,(,e)上单调递增,
所以最大值1可能在x=1或x=e处取得,
而f(1)=ln1+a-(2a+1)<0,
所以f(e)=lne+ae2-(2a+1)e=1,解得a=,与1<x2=<e矛盾,
当x2=≥e时,f(x)在区间(0,1)上单调递增,在(1,e)单调递减,
所以最大值1可能在x=1处取得,而f(1)=ln1+a-(2a+1)<0,矛盾,
综上所述,a=或a=-2.