爬虫面试题及详细答案（真实职场版）.docxVIP

爬虫面试题及详细答案（真实职场版）

一、爬虫基础面试题（入门必问）

1、简单说下爬虫的工作原理？完整爬取流程是什么？

参考答案：

爬虫本质就是模拟浏览器给服务器发请求，拿到数据后解析、保存的过程。完整流程分四步：

第一，发送请求。通过HTTP/HTTPS协议，向目标网址发送GET、POST等请求，带上请求头、参数等信息；

第二，获取响应。服务器接收请求后，返回网页源码、JSON数据、二进制文件等响应内容；

第三，解析数据。对返回的内容进行清洗解析，通过正则、XPath、CSS选择器、JSON解析等方式，提取我们需要的有效数据，过滤无用标签和内容；

第四，数据持久化。把解析出来的数据保存到本地文件（txt、csv、excel）或者数据库（MySQL、Redis、MongoDB）。

2、GET和POST请求的区别？爬虫中分别怎么用？

参考答案：

核心区别有四点：

1、参数位置不一样：GET参数直接拼在URL后面，明文可见；POST参数放在请求体里，不会直接展示在地址栏；

2、数据大小限制：GET有URL长度限制，只能传少量数据；POST没有明确限制，可以传大量数据、文件、图片等；

3、缓存特性：GET请求会被浏览器缓存，重复请求可能拿不到最新数据；POST默认不缓存；

4、安全性：POST比GET相对安全，参数不会暴露在链接中。

爬虫使用场景：普通的页面浏览、查询数据用GET；登录、