静态网页爬取技术基础杨海迎75课件讲解.pptxVIP

静态网页爬取技术基础主讲人：杨海迎

静态网页爬取

固定信息快照嵌入HTML代码入门爬虫技术

核心问题静态网页是什么？如何通过“请求-响应”拿到它的原始HTML数据？

静态网页的核心定位

由HTML（超文本标记语言）编写、内容固定不变的网页，就像打印好的纸质文档，无论谁访问、何时访问，显示的内容都一致。静态网页的核心定位

静态网页

“静态”体现在“内容固定、直接返回”，这也是它爬取难度较低的核心原因。静态网页

静态网页的原始数据模拟浏览器向目标服务器发送HTTP请求，获取服务器返回的HTML响应，再从HTML中提取所需数据。

爬取核心流程定位目标：明确要爬取的网页URL（统一资源定位符），这是向服务器发送请求的“地址”；发送请求：用Python程序模拟浏览器，向目标URL发送HTTP请求（如GET请求），告知服务器“我要获取这个网页的内容”；响应处理：服务器验证请求合法后，返回包含完整HTML内容的响应数据，这是我们后续解析的“原材料”；数据存储：将提取的结构化数据保存到文件（如CSV、JSON）数据库，完成采集；数据解析：从HTML响应中提取目标数据（如文本、链接）;

定位目标发送请求响应处理

重点步骤拆解1.定位目标：确定URL核心动作：找到目标网页的完整URL（如/static.html）；获取方式：在浏览器地址栏直接复制，确保URL完整无错（缺失协议头http://或https://会导致请求失败）；注意事项：确认目标网页是静态网页（可通过“查看页面源代码”验证，若数据直接在源码中显示，即为静态）。

重点步骤拆解2.发送请求：模拟浏览器行为核心工具：Python的requests库（最常用的HTTP请求工具），需提前安装（pipinstallrequests）；

重点步骤拆解3.响应处理：获取HTML数据核心动作：从响应对象中提取HTML内容，常用两种方式；response.text：返回字符串格式的HTML内容，适合直接查看和解析；response.content：返回字节流格式的HTML内容，适合保存本地文件；

注意事项：常见问题与解决方案URL格式正确：必须包含完整协议头（http://或https://），否则会被视为无效地址；请求合法性：遵守目标网站的robots.txt协议（可通过url/robots.txt查看）不恶意发送高频请求（避免给服务器造成压力）；

注意事项：常见问题与解决方案编码处理：中文网页需设置正确的编码格式（如utf-8、gbk），否则会出现乱码，优先使用response.encoding指定；异常处理：添加简单的异常捕获（如网络错误、请求超时），避免程序因突发问题崩溃。

核心总结：基础打牢+合规先行实操建议：requests库尝试请求一个公开的静态网页（如），实操感受“请求-响应”的过程。合法合规、尊重他人权益，是每个技术使用者的基本素养，也是爬虫技术可持续应用的前提。一个概念静态网页是内容固定、数据嵌入HTML、直接返回的网页。一套流程“定位目标-发送请求-响应处理-数据解析-数据存储”五步闭环。三个重点搞定URL定位、模拟请求发送、HTML响应获取，就完成了爬取的核心环节。注意事项不爬取敏感数据（如用户隐私、付费内容）；不发送高频恶意请求影响服务器正常运行。

爬取核心流程定位目标发送请求响应处理数据解析数据存储定位目标：明确要爬取的网页URL（统一资源定位符），这是向服务器发送请求的“地址”；发送请求：用Python程序模拟浏览器，向目标URL发送HTTP请求（如GET请求），告知服务器“我要获取这个网页的内容”；服务器验证请求合法后，返回包含完整HTML内容的响应数据，这是我们后续解析的“原材料”；

配置Cookie：两种实操方法两种方法对比核心特征具体说明扩展名.html/.htm，本地可直接打开数据存储数据直接嵌入HTML代码，无动态加载服务器响应直接返回完整HTML文件，无需额外处理

正则表达式核心特征具体说明扩展名.html/.htm，本地可直接打开数据存储数据直接嵌入HTML代码，无动态加载服务器响应直接返回完整HTML文件，无需额外处理