爬虫工程师面试题库（含详细真实面试版答案）.docxVIP

爬虫工程师面试题库（含详细真实面试版答案）

一、Python爬虫基础面试题（必问）

1、说说GET和POST请求的区别？爬虫中怎么选择？

详细答案：

首先是使用场景不一样，GET就是拿数据，POST是提交数据。

核心区别：

1）参数位置：GET参数直接拼在URL后面，POST参数放在请求体里；

2）数据长度：GET有URL长度限制，不能传大量数据；POST无限制，适合传表单、文件、大量参数；

3）缓存特性：GET请求会被浏览器、代理缓存，重复请求结果大概率一致；POST默认不缓存；

4）安全性：GET参数暴露在地址栏，不安全；POST参数在请求体，相对隐蔽；

5）幂等性：GET是幂等的，多次请求结果一样；POST非幂等，多次提交可能产生多条数据（比如注册、下单）。

爬虫使用原则：单纯采集列表、详情数据用GET；需要登录、提交表单、点赞、评论、上传数据一律用POST。

2、requests库中content和text的区别？乱码怎么解决？

详细答案：

text是requests自动根据网页编码解码后的字符串，content是原始二进制字节流。

常见问题：网页编码识别不准，text经常出现中文乱码。

区别：

1）response.text：自动解码，适合大部分普通网页，但编码判断容易出错；

2）response.content：原始bytes数据，图片、文件、二进制数据必须用这个。