∵函数f(x)=acos2x-bsinxcosx-

a

2

=a•

1+cos2x

2

-

1

2

b•sin2x-

a

2

=

a

2

•cos2x-

1

2

b•sin2x．

它的最大值为

1

2

a2+b2

=

1

2

，故有a²+b²=1 ①．

再由f(

π

3

)=

3

4

 可得-

1

4

a-

3

4

b=

3

4

，即 a+

3

b=-

3

 ②．

由①②解得

a=0 b=-1

，或 

a= - 3 2 b= - 1 2

．

f(-

π

3

)=-

1

4

a+

3

4

b=-

3

4

，或 f(-

π

3

)=-

1

4

a+

3

4

b=0．

故选D．