爬虫面试题及详细答案（职场实战版）.docxVIP

爬虫面试题及详细答案（职场实战版）

一、Python爬虫基础面试题

1、说一说爬虫的基本原理和完整工作流程？

参考答案：

爬虫本质就是模拟浏览器，向网站服务器发送网络请求，获取页面数据，再解析、清洗、保存数据的过程。完整流程分四步：

第一，发送请求。通过requests、urllib等库，模拟GET、POST请求，带上请求头、参数、Cookie等信息，向目标网址发起访问。

第二，获取响应数据。服务器接收请求后，返回响应内容，一般是HTML网页、JSON接口数据、二进制文件（图片、视频）等，同时会返回状态码、响应头、Cookie等信息。

第三，解析提取数据。对返回的原始数据进行解析，用正则、BeautifulSoup、XPath、PyQuery等工具，筛选出我们需要的文本、链接、图片地址、字段数据，剔除无效代码和冗余内容。

第四，数据持久化保存。把清洗后的有效数据，保存为Excel、CSV、TXT文件，或者存入MySQL、Redis、MongoDB数据库，方便后续查询和使用。

最后还会做异常处理和重试机制，防止网络波动、请求超时导致爬虫中断。

2、requests和urllib有什么区别？工作中优先用哪个？

参考答案：

urllib是Python内置的标准库，不需要额外安装，兼容性最好，所有Python环境都自带，但语法繁琐，处理Cookie、代理、POST请求、超时配置都很