A、5x²y与

1

5

xy字母x、y相同，但x的指数不同，所以不是同类项；

B、-5x²y与

1

5

yx²字母x、y相同，且x、y的指数也相同，所以是同类项；

C、5ax²与

1

5

yx²字母a与y不同，所以不是同类项；

D、8³与x³，对8³只是常数项无字母项，x³只是字母项无常数项，所以不是同类项．

故选B