问题
多项选择题
关于网络爬虫协议文件robots.txt,说法错误的是()
A.一个网站可以放多个不同robots文件
B.robots文件不可以用xml格式命名
C.disallow用来描述不希望被访问到的一个URL
D.robots文件可以放在任何位置
答案
参考答案:A, B, D
关于网络爬虫协议文件robots.txt,说法错误的是()
A.一个网站可以放多个不同robots文件
B.robots文件不可以用xml格式命名
C.disallow用来描述不希望被访问到的一个URL
D.robots文件可以放在任何位置
参考答案:A, B, D