对于ROBOTS文件作用，哪些描述是正确（）

A.防止网站非公开部份的网页被抓取

B.禁止搜索引擎访问某些文件

C.提升网站排名

D.避免收录重复内容