爬虫岗位面试真题（含答案）.docxVIP

爬虫岗位面试真题（含答案）

本套面试题贴合互联网企业真实爬虫岗面试场景，剔除模板化话术，覆盖基础语法、网络请求、网页解析、反爬突破、框架使用、分布式爬虫、项目实战及故障排查，适配初级、中级爬虫工程师面试，题目无生硬模板感，侧重实操和落地问题。

一、基础基础篇（初级必问）

1、说一说urllib、requests库的区别，日常开发你更常用哪个？

参考答案：

urllib是Python内置标准库，无需额外安装，功能基础，但是语法繁琐，处理请求头、表单、cookie、超时等操作代码量多，不支持会话保持，适配简单的一次性请求场景。

requests是第三方开源库，基于urllib封装，语法简洁，接口人性化，原生支持会话保持、cookie自动携带、文件上传下载、超时设置、代理配置，兼容性和稳定性更好。

日常开发优先使用requests，仅在无网络环境、无法安装第三方库的特殊场景下使用urllib。

2、HTTPGET和POST请求的核心区别，爬虫场景下分别怎么使用？

参考答案：

1.参数位置：GET参数拼接在URL地址栏中，POST参数放在请求体中；

2.数据限制：GET有URL长度限制，无法传输大量数据，POST无明显长度限制；

3.缓存特性：GET请求会被浏览器、代理服务器缓存，POST默认不缓存；

4.安全性：GET参数暴露在地址栏，安全性低，POST参数隐藏