数据采集的方法和工具（课件）【知识精讲+培优提升】高一信息技术 （粤教版2019必修1）.pptxVIP

粤教版普通高中教科书信息技术 必修1数据与计算第五章 数据处理与可视化表达内容回顾课时内容安排内容目录子项目主题网络购物平台客户行为数据分析和可视化表达5.1认识大数据网购行为分析5.2数据的采集网购数据的采集5.3数据的分析网购数据的分析网购数据的可视化表达5.4数据的可视化表达子项目二：网购数据的采集5.2.1 数据采集的方法与工具子项目二：网购数据的采集数据的分析数据的采集问题：数据采集的方式有哪些？一、数据采集的内涵与过程内涵：数据采集根据需求采用适当的方法和工具获取数据。过程：围绕选定的项目主题，制定数据采集的需求清单和内容大纲明确数据应用项目的需求过程：针对不同的数据类型，选择适当的工具和方法，采集数据采用适当的方法和工具要选择合适的存储方式并注意数据安全数据的存储和保护二、数据采集的基本方法01系统日志采集法02数据采集的基本方法：网络数据采集法03其他数据采集法二、数据采集的基本方法系统日志采集法1在信息系统中，系统日志是记录系统中硬件、软件和系统问题的信息文件。通常是在目标主机上安装一个小程序，将目标主机的文本、应用程序、数据库等日志信息有选择地定向推送到日志服务器进行存储、监控和管理。通过日志服务器可以监视系统中发生的事件，可以检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。二、数据采集的基本方法小组协作，参照微课《系统日志采集法》进行实践，在探究活动记录表中截图粘贴并分析你的计算机的情况。探究活动一截图：分析：二、数据采集的基本方法网络数据采集法2通过网络爬虫或网站公开的API（应用程序接口）等方式从网站上获取数据信息。该方法可将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。二、数据采集的基本方法视频/网络爬虫到底是什么？%20.mp4网络爬虫？网络数据采集法2通过网络爬虫或网站公开的API（应用程序接口）等方式从网站上获取数据信息。该方法可将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。二、数据采集的基本方法视频/网络爬虫到底是什么？%20.mp4网络爬虫？网络数据采集法21.什么是网络爬虫？通过网络爬虫或网站公开的API（应用程序接口）等方式从网站上获取数据信息。该方法可将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。网络爬虫：又称网络蜘蛛、网络蚂蚁、网络机器人等。按照人们事先制定的爬取规则，可以代替人们自动地在互联网中进行数据的采集与整理。即：可以自动采集网络数据的程序二、数据采集的基本方法视频/网络爬虫到底是什么？%20.mp4网络爬虫？网络数据采集法22.网络爬虫的应用有哪些？通过网络爬虫或网站公开的API（应用程序接口）等方式从网站上获取数据信息。该方法可将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。二、数据采集的基本方法视频/网络爬虫到底是什么？%20.mp4网络爬虫？网络数据采集法23.网络爬虫获取数据的流程是怎样的？通过网络爬虫或网站公开的API（应用程序接口）等方式从网站上获取数据信息。该方法可将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。获取网页的URL爬取网页的内容分析网页的内容提取有用的数据获取其他的URL，重复前面的步骤，直到满足停止条件注意：网络爬虫的合法性二、数据采集的基本方法视频/网络爬虫到底是什么？%20.mp4网络爬虫？网络数据采集法24.如何实现爬虫程序爬取数据？通过网络爬虫或网站公开的API（应用程序接口）等方式从网站上获取数据信息。该方法可将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。使用Python语言的第三方库来实现爬虫编写：常使用到的库：requests库——获取网页信息bs4库（beautifulsoup）——解析HTML页面xlwt库——调用Excel模块，将获取的有用信息写入表格文件保存NumPy库 ——构建科学计算最基础的软件库Pandas ——主要用于快速简单的数据操作、聚合和可视化呈现Matplotlib ——Python绘图库二、数据采集的基本方法视频/网络爬虫到底是什么？%20.mp4网络爬虫？网络数据采集法24.如何实现爬虫程序爬取数据通过网络爬虫或网站公开的API（应用程序接口）等方式从网站上获取数据信息。该方法可将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。使用Python语言的第三方库来实现爬虫编写：使用前需要用pip命令安装第三方库：二、数据采集的基本方法视频/网络爬虫到底是什么？%20.mp4网络爬虫？网络数据采集法24.如何实现爬虫程序爬取数据通过网络爬虫或网站