《数据的采集》教学课件.pptxVIP

去哪儿旅游？

——数据的采集必修一《数据与计算》第五章数据处理和可视化表达

长安

北京

中国是一个地域辽阔的，拥有丰富的旅游资源。从南到北，从东到西，都有不同的自然景观和人文景观。同时各具特色的美味佳肴更是让你流连忘返。

探究数据的来源广泛（主要指互联网和物联网）、类型丰富、规模巨大。采集数据首先要明确数据应用项目的需求，围绕选定的项目主体，制定数据采集的需求清单和内容大纲，再采用适当的方法和工具进行采集。数据的采集对于企业生产经营或科学研究等保密性要求较高的数据，可通过与企业或研究机构合作，使用特定系统接口等相关方式收集数据。其他数据采集法网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。网络数据采集法系统日志包括操作日志、应用程序和安全日志。通过日志服务器可以监视系统中发生的事件，可以检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志采集法一、数据采集的方法任务一：体验系统日志采集”去哪儿旅游“——数据的采集

探究数据的采集——旅游数据网络爬取”去哪儿旅游“——数据的采集任务二：采集旅游景点数据

探究网络数据的采集——爬虫”去哪儿旅游“——数据的采集电影《孤注一掷》片段中提到“爬虫”

探究数据的采集——旅游数据网络爬取”去哪儿旅游“——数据的采集在众多的数据采集工具中，Python以其简洁、开源和包容的特性在数据采集和分析领域独树一帜。由于Python可以安装第三方扩展库来扩展功能，因此使用Python进行网络数据采集和分析显得简单易用。

探究数据的采集——调用第三方扩展库”去哪儿旅游“——数据的采集importmodule关键字模块名frommoduleimportname关键字模块名关键字方法名formimport语句也是导入模块的一种方法，是导入指定模块内的指定函数方法。在Python模块库中有大量模块可供使用，要想使用这些文件，就需要用import语句把指定模块导入当前程序中。

探究数据的采集——调用第三方扩展库”去哪儿旅游“——数据的采集库名作用requests是一个常用的HTTP请求库，可以方便地向网站发送HTTP请求，并获取响应结果。pyquery是强大而又灵活的网页解析库time是最基础的时间处理库pandas是一个强大的分析结构化数据的工具集。用于数据挖掘和数据分析，同时也提供数据清洗功能。scipy是一种专用于科学计算中常见问题的工具箱。如插值、积分、优化、图像处理、统计、特殊函数等。任务三：安装第三方库

探究二、数据的存储”去哪儿旅游“——数据的采集存储数据主要有两种方式：本地存储和第三方公共或私有云端存储本地电脑硬盘存储卡光盘数据存储服务器私有云公共云混合云对于用户而言，无须关注云存储系统的具体运行，仅需获取存储空间，把自己的数据存储进去。

探究三、数据的保护”去哪儿旅游“——数据的采集威胁数据安全因素硬盘损坏操作失误黑客入侵感染病毒自然灾害磁盘阵列防火墙杀毒软件异地容灾数据备份主动防护提高数据安全加密/校验MD5\CRC\SHA-1校验方法校验是为了保证数据完整性加密是为了保证数据保密性数据安全保护技术拷贝备份复制镜像持续备份

探究三、数据的保护”去哪儿旅游“——数据的采集数据隐私保护数据的隐私保护，形势越发严峻。

探究三、数据的保护”去哪儿旅游“——数据的采集数据隐私保护技术手段提高自身的保护意识对数据使用者进行道德和法律上的约束

探究四、小结”去哪儿旅游“——数据的采集思考：对采集后的数据，采用什么方法进行分析？