关于网络爬虫协议文件robots.txt,说法正确的是:
Arobots.txt是搜索引擎中访问网站的时候要查看的第一个文件
Brobots.txt文件告诉蜘蛛程序在服务器上哪些文件不要被收录
Crobots文件不可以用xml格式命名
D一个网站可以放多个不同robots文件
A.蜘蛛就是搜索引擎的网络爬虫
B.每个搜索引擎蜘蛛名称不同
C.网站被搜索引擎降权后蜘蛛永远不会光临此网站
D.站长可以通过技术等优化来吸引蜘蛛爬行抓取
A.全文检
B.关键字检索
C.主题目录检索
D.自动网页检索
A.在消息搜索框内搜索
B.扫描二维码
C.在应用市场搜索
D.从浏览器的网页上点击发现