大数据采集与分析案例教程项目1绪论.pptxVIP

绪论0.1实践知识地图0.2内容实施安排

知识目标掌握Anaconda开发环境的搭建和包管理方法,掌握PyCharm开发工具的安装和使用方法。掌握requests库的使用方法,包括发起请求、获取响应、设置请求头和Cookie等。熟悉正则表达式的基础语法,掌握re模块的使用方法。熟悉XPath的基础语法,掌握lxml库的使用方法。熟悉BeautifulSoup库的选择器,掌握BeautifulSoup库的使用方法。理解Selenium与浏览器的交互原理,掌握Selenium的使用方法。理解Scrapy框架的体系结构和数据流,掌握Scrapy框架的基本使用方法。熟悉多种数据存储方式,掌握文件和MySQL数据库的操作方法。理解企业软件开发过程,熟悉项目的需求分析和设计方法。了解Pandas库和Matplotlib库的基本使用方法。

技能目标能搭建Anaconda开发环境和管理第三方包，能安装和使用PyCharm开发工具。能使用requests库发送请求，采集网页数据。能使用正则表达式和re模块解析网页，提取所需数据。能使用XPath和lxml库解析网页，提取所需数据。能使用BeautifulSoup库解析网页，提取所需数据。能使用Selenium自动操作浏览器，采集和解析网页数据。能创建和运行Scrapy工程，使用Scrapy采集、解析、存储数据。能以不同的方式存储数据，包