粤教版（2019）信息技术必修一 数据与计算5-2 数据的采集 课件.pptxVIP

粤教版普通高中教科书 信息技术必修1 数据与计算 1 数据处理和可视化表达 5.1认识大数据 5.2数据的采集 5.3数据的分析 5.4数据的可视化表达 第五章 2 粮食的采集 3 新时代采集数据 数据的来源广泛（主要是互联网和物联网）、类型丰富、规模巨大。采集数据首先要明确数据应用项目的需求，围绕选定的项目主题，制定数据采集的需求清单和内容大纲，再采用适当的方法和工具进行采集。 第五章数据处理和可视化表达 5.2数据的采集 4 5.2.1数据采集的方法和工具 数据采集的基本方法包括系统日志采集法、网络数据采集法和其他数据采集法。 1.系统日志采集法 在信息系统中，系统日志是记录系统中硬件、软件和系统问题的信息文件。系统日志包括操作系统日志、应用程序日志和安全日志。系统日志采集数据的方法通常是在目标主机上安装一个小程序，将目标主机的文本、应用程序、数据库等日志信息有选择地定向推送到日志服务器进行存储、监控和管理。 通过日志服务器可以监视系统中发生的事件，可以检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。例如，安全管理信息系统就是以系统日志服务器采集原始日志数据，以日志记录文本文件实现日志数据的监控和保存，以数据库操作进行日志有效信息的管理工作。 第五章数据处理和可视化表达 5.2数据的采集 5 软件采集数据 2.网络数据采集法 网络数据采集是指通过网络爬虫或网站公开API(Application Programming Interface应用程序接口)等方式从网站上获取数据信息。网络爬虫从一个或若干初始网页的(Uniform Resource Locator，统一资源定位符)开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。 第五章数据处理和可视化表达 5.2数据的采集 6 采集数据 3.其他数据采集法 对于企业生产经营或科学研究等保密性要求较高的数据，可通过与企业或研究机构合作，使用特定系统接口等相关方式收集数据。例如，科学研究的数据是通过科学实验的各 种传感器采集，并传输到数据库管理系统中的。 第五章数据处理和可视化表达 5.2数据的采集 7 1.观看微课视频“第三方库模块安装与使用”； 2.体验安装bs4，requests，xlwt，datetime四个Python第三方库。 3.观看微课视频“xampp搭建本地服务器”、”爬虫程序采集网络数据”； 4.体验安装、运行xampp并搭建、启动本地网页服务； 5.运行“程序5-3-2爬取本地网页数据（教材范例）.py”，数据文件内容如下图所示，体验使用爬虫程序采集本地网页数据。 第五章数据处理和可视化表达 5.2数据的采集 程序5-3-2爬取本地网页数据结果 8 运行爬虫程序采集本地网页数据需要获取的关键信息有哪些？具体内容是什么？怎么获取到这些信息？ 关键信息 具体内容 获取方法 网页数据网址 商品每项数据的 标签和属性类名 /wholesale.html 商品名称标签：a该标签属性类名：item-title 商品价格标签：span该标签属性类名：price-current 订单量标签：a该标签属性类名：sale-value-link 店铺名称标签：a该标签属性类名：store-name chrome浏览 器的检查工具 第五章数据处理和可视化表达 5.2数据的采集 9 探究活动 当当网上各种商品应有尽有，假如你在该平台开了一个教辅网店，最近你要调整经营策略，以提高网店的盈利水平。在调整经营策略之前你必须进行前期调研分析，比如通过分析当当网上高一教辅的销量数据，去重新定位销售商品的种类和价格；通过分析网店销售数据订单，去了解客户的购物喜好，去判断哪些商品可以捆绑销售。从而下架一些销量不好商品和上架一些新的商品。那么，你要完成前期调研工作，需要获取到哪些数据呢？怎样获取到这些数据呢？从获取数据中怎样提炼出有价值的信息呢？ 第五章数据处理和可视化表达 5.2数据的采集 10 探究活动 根据《网络购物平台客户行为数据分析和可视化表达》项目主题，确定项目的数据需求，列出数据采集清单和内容大纲，采集数据使用的方法和工具，见下表。 编号 项目数据内容大纲 数据来源 采集方法和工具 数据保存 方式 1 2 3 商品销售数据：包括商品名称、作者名称、商品价格、商品评论数 当当网-图书教辅-高一类别 方法：网络数据采集法 工具：爬虫程序 data_sample.csv 商品销售数据：包括商品价格、商品销量