（1）证明：设数列{a_n}的公比为q，

因为S₄，S₁₀，S₇成等差数列，所以q≠1，且2S₁₀=S₄+S₇．

所以

2a1(1-q10)

1-q

=

a1(1-q4)

1-q

+

a1(1-q7)

1-q

，

因为1-q≠0，所以1+q³=2q⁶．

所以a₁+a₁q³=2a₁q⁶，即a₁+a₄=2a₇．

所以a₁，a₇，a₄也成等差数列．

（2）因为S3=

3

2

，S6=

21

16

，

所以

a1(1-q3)

1-q

=

3

2

，①

a1(1-q6)

1-q

=

21

16

，②

由②÷①，得1+q3=

7

8

，所以q=-

1

2

，代入①，得a₁=2．

所以an=2•(-

1

2

)n-1，

又因为b_n=λa_n-n²，所以bn=2λ(-

1

2

)n-1-n2，

由题意可知对任意n∈N^*，数列{b_n}单调递减，

所以b_n+1＜b_n，即2λ(-

1

2

)n-(n+1)2＜2λ(-

1

2

)n-1-n2，

即6λ(-

1

2

)n＜2n+1对任意n∈N^*恒成立，

当n是奇数时，λ＞-

(2n+1)2n

6

，当n=1时，-

(2n+1)2n

6

取得最大值-1，

所以λ＞-1；

当n是偶数时，λ＜

(2n+1)2n

6

，当n=2时，

(2n+1)2n

6

取得最小值

10

3

，

所以λ＜

10

3

．

综上可知，-1＜λ＜

10

3

，即实数λ的取值范围是(-1，

10

3

)．