第2章大数据采集及预处理.ppt

大数据技术与应用;第2章大数据采集及预处理;导学;2.1数据采集简介;2.1.2 数据采集的数据来源 按照数据来源划分，大数据的三大主要来源为：商业数据、互联网数据与物联网数据。 ;1．商业数据 商业数据是指来自于企业ERP系统、各种POS终端及网上支付系统等业务系统的数据，是现在最主要的数据来源渠道。;2．互联网数据 互联网数据是指网络空间交互过程中产生的大量数据，包括通信记录及QQ、微信、微博等社交媒体产生的数据，其数据复杂且难以被利用。 互联网数据具有的特点： 大量化 多样化 快速化;3．物联网数据 物联网是指在计算机互联网的基础上，利用射频识别、传感器、红外感应器、无线数据通信等技术，构造一个覆盖世界上万事万物的“The Internet of Things”，也就是“实现物物相连的互联网络”。 其内涵包含： 物联网的核心和基础仍是互联网，是在互联网基础之上延伸和扩展的一种网络。 用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。;物联网数据的特点主要包括： 物联网中的数据量更大 物联网中的数据传输速率更高 物联网中的数据更加多样化 物联网对数据真实性的要求更高;2.1.3 数据采集的技术方法 1．系统日志采集方法 很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如： Hadoop的Chukwa Cloudera的Flume Facebook的Scribe ;2．对非结构化数据的采集 非结构化数据的采集就是针对所有非结构化的数据的采集，包括企业内部数据的采集和网络数据采集等。 企业内部数据的采集是对企业内部各种文档、视频、音频、邮件、图片等数据格式之间互不兼容的数据采集。 网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取互联网中相关网页内容的过程，并从中抽取出用户所需要的属性内容。 网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。 ;3．其他数据采集方法 对于企业生产经营数据或学科研究数据等保密性要求较高??数据，可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。;2.2大数据的预处理;1．数据清洗 数据清洗是在汇聚多个维度、多个来源、多种结构的数据之后，对数据进行抽取、转换和集成加载。目的在于删除重复信息、纠正存在的错误，并提供数据一致性。?;2．数据集成 数据集成是把不同来源、不同格式、不同特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统。 大数据集成： 狭义上讲是指如何合并规整数据； 广义上讲数据的存储、移动、处理等与数据管理有关的活动都称为数据集成。 大数据集成一般需要将处理过程分布到源数据上进行并行处理，并仅对结果进行集成。;3．数据变换 数据变换是将数据转换成适合挖掘的形式。数据变换是采用线性或非线性的数学变换方法将多维数据压缩成较少维数的数据，消除它们在时间、空间、属性及精度等特征表现方面的差异（如统计学中的数据标准化）。 4．数据规约 数据规约是从数据库或数据仓库中选取并建立使用者感兴趣的数据集合，然后从数据集合中滤掉一些无关、偏差或重复的数据，在尽可能保持数据原貌的前提下，最大限度地精简数据量。数据归约主要有两个途径：属性选择和数据采样，分别针对原始数据集中的属性和记录。;2.3数据采集及预处理的主要工具;2．Logstash Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。 官网：/ ;3．Kibana Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。 主页： /;4．Ceilometer Ceilometer主要负责监控数据的采集，是OpenStack中的一个子项目，它像一个漏斗一样，能把OpenStack内部发生的几乎所有的事件都收集起来，然后为计费和监控以及其它服务提供数据支撑。 官方网站：/ ;5．乐思网络信息采集系统 主要目标就是解决网络信息采集和网络数据抓取问题。 官方网站：/index.html ;6．火车采集器 通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛