（1）f′(x)=x+

2a(a+1)

x

-(3a+1)，

由已知f'（1）=3，即2a²-a=3，2a²-a-3=0，

解得a=

3

2

或a=-1．…（2分）

又因为a＞0，所以a=

3

2

．…（3分）

（2）函数f（x）的定义域为（0，+∞），…（4分）

f′(x)=x+

2a(a+1)

x

-(3a+1)=

x2-(3a+1)x+2a(a+1)

x

=

(x-2a)[x-(a+1)]

x

，

①当2a＞a+1，即a＞1时，

由f'（x）＞0得x＞2a或0＜x＜a+1，

因此函数f（x）的单调增区间是（0，a+1）和（2a，+∞）．

②当2a＜a+1，即0＜a＜1时，

由f'（x）＞0得x＞a+1或0＜x＜2a，

因此函数f（x）的单调增区间是（0，2a）和（a+1，+∞）．

③当2a=a+1，即a=1时f'（x）≥0恒成立（只在x=2a处等于0），

所以函数在定义域（0，+∞）上是增函数．…（7分）

综上：①当a＞1时，函数f（x）的单调增区间是（0，a+1）和（2a，+∞）；

②当0＜a＜1时，函数f（x）的单调增区间是（0，2a）和（a+1，+∞）；

③当a=1时，函数f（x）的单调增区间是（0，+∞）．…（8分）

（3）当a=

3

2

时，f(x)=

x2

2

+

15

2

lnx-

11x

2

，

由（2）知该函数在(0，

5

2

)上单调递增，

因此在区间[1，2]上f（x）的最小值只能在x=1处取到．…（10分）

又f(1)=

1

2

-

11

2

=-5，

若要保证对任意x∈[1，2]，f（x）-b²-6b≥0恒成立，

应该有-5≥b²+6b，即b²+6b+5≤0，解得-5≤b≤-1，

因此实数b的取值组成的集合是{b|-5≤b≤-1}．…（12分）