爬虫工程师面试题及参考答案.docx

爬虫工程师面试题及参考答案

一、基础概念题（考察核心认知）

什么是爬虫？爬虫的核心工作流程是什么？

参考答案：爬虫本质是模拟浏览器/客户端向服务器发送请求、获取数据并解析存储的自动化工具，核心用于批量采集互联网公开数据。工作流程分4步：①确定目标URL（种子URL）；②发送HTTP/HTTPS请求（携带headers、参数等）；③接收响应数据（HTML、JSON、XML等）并解析提取有效信息；④存储数据（数据库、文件等），同时递归/迭代获取新的URL继续爬取。

HTTP请求中，GET和POST方法的核心区别是什么？爬虫中如何选择使用？

参考答案：核心