显然函数f(x)的定义域为(0,+∞),
(1)当a=0时,f(x)=-x2+lnx,f′(x)=-x+=;
由f'(x)>0,结合定义域解得0<x<1,
∴f(x)的单调递增区间为(0,1).
(2)将f(x)<(x+1)lnx化简得(a-)x2<xlnx,∵x∈[1,3]∴有a<+
令g(x)=+,则g/(x)=,由g′(x)=0解得x=e.
当1≤x<e时,g′(x)>0;当e<x≤3时,g′(x)<0
故g(x)max=g(e)=+
∴∃x∈[1,3],使f(x)<(x+1)lnx成立等价于a<g(x)max=g(e)=+
即a的取值范围为(-∞,+)
(3)令g(x)=f(x)-2ax=(a-)x2-2ax+lnx,则g(x)的定义域为(0,+∞).
在区间(1,+∞)上,函数f(x)的图象恒在直线y=2ax下方等价于g(x)<0在区间(1,+∞)上恒成立.
∵g′(x)=(2a-1)x-2a+==
①若a>,令g'(x)=0,得极值点x1=1,x2=,
当x2>x1=1,即<a<1时,在(x2,+∞)上有g'(x)>0,
此时g(x)在区间(x2,+∞)上是增函数,并且在该区间上有g(x)∈(g(x2),+∞),不合题意;
当x2<x1=1,即a≥1时,同理可知,g(x)在区间(1,+∞)上,有g(x)∈(g(1),+∞),也不合题意;
②若a≤,则有2a-1≤0,此时在区间(1,+∞)上恒有g'(x)<0,
从而g(x)在区间(1,+∞)上是减函数;
要使g(x)<0在此区间上恒成立,只须满足g(1)=-a-≤0⇒a≥-,
由此求得a的范围是[-,].
综合①②可知,当a∈[-,]时,函数f(x)的图象恒在直线y=2ax下方.