大数据采集与分析案例教程项目3代码托管平台数据的采集与解析requests库+lxml库应用.pptxVIP

项目3代码托管平台数据的采集与解析———requests库+lxml库应用

学习目标掌握requests库的基本使用方法。掌握使用requests库设置SSL证书验证的方法。熟悉XPath的基本语法用法。掌握使用lxml库解析网页代码、查找网页元素、提取数据的方法。

技能目标能使用requests库发送HTTP请求并处理响应。能使用requests库设置SSL证书验证。能使用XPath解析网页数据,提取所需的信息。能使用lxml库解析网页代码,查找网页元素并提取数据。

素养目标培养解决问题的能力和创新能力,能够独立分析和解决实际问题。培养自主学习和终身学习的意识和能力,能够主动学习和掌握新知识与新技能。培养良好的编程习惯和代码规范,能够编写高质量和可维护的代码。培养大数据采集和分析技能的实践能力,综合应用requests库+lxml库开发“代码托管平台数据的采集与解析”项目。

3.1项目需求使用XPath与lxml库，完成对gitee平台数据的解析。（1）以GET方式访问gitee开源软件页面，获取页面的源代码。（2）使用XPath与lxml库对源代码进行解析，获取已入驻开源组织的数据。（3）使用XPath与lxml库对源代码进行解析，获取推荐项目的数据，如图3-1所示。图3-1

3.2项目分析（1）使用Requests库爬取页面源码。（2）使用开发