Python工程师2022阶段四爬虫面试指导：Robots协议书写方法.docx

Python工程师2022阶段四爬虫面试指导：Robots协议书写方法

一、单选题（每题1分，共10分）

1.Robots协议通常存储在哪个文件中？（）

A.robots.txt

B.robots.xml

C.sitemap.xml

D.robots.json

【答案】A

【解析】Robots协议通常存储在网站的根目录下的robots.txt文件中。

2.在Robots协议中，如何指定User-agent为Googlebot？（）

A.User-agent:Googlebot

B.User-agent:

C.User-agent:Google

D.User-agent:googlebot

【答