(1)证明:对任意x1,x2∈R,当a<0,
有[f(x1)+f(x2)]-2f()=ax12+bx1+c+ax22+bx2+c-2[a()2+b()+c]=ax12+ax22-a(x12+x22+2x1x2)=a(x1-x2)2 (3分)
∴当a<0时,f(x1)+f(x2)≤2f(),即≤f()
当a<0时,函数f(x)是凸函数. (5分)
(2)当x=0时,对于a∈R,有f(x)≤1恒成立;当x∈(0,1]时,要f(x)≤1恒成立,即ax2≤-x+1,
∴a≤-=(-)2-恒成立,∵x∈(0,1],∴≥1,当=1时,(-)2-取到最小值为0,
∴a≤0,又a≠0,∴a的取值范围是(-∞,0).
由此可知,满足条件的实数a的取值恒为负数,由(1)可知函数f(x)是凸函数 (11分)
(3)令x=y=0,则f(0)=[f(0)]2,∵f(0)≠0,∴f(0)=1,(12分)
令y=-x,则1=f(0)=f(x-x)=f(x)f(-x),故f(x)=;
若n∈N*,则f(n)=f[(n-1)+1]=f(n-1)f(1)=2f(n-1)=…=[f(1)]2; (14分)
若n<0,n∈Z,则-n∈N*,∴f(n)===2n;∴x∈Z时,f(x)=2x.
综上所述,对任意的x∈Z,都有f(x)=2x; (15分)
∵[20+21]=>,所以f(x)不是R上的凸函数. (16分)
(对任意x1,x2∈R,有[f(x1)+f(x2)]=[2x1+2x2]≥×2=f(),所以f(x)不是R上的凸函数. 16分)