大数据技术与应用项目化教程大数据的采集与存储04.pptxVIP

大数据的采集与存储项目四大数据技术与应用项目化教程

01.大数据来源02.大数据的采集方法03.大数据采集平台04.数据预处理05.大数据存储

PART01大数据来源

一、大数据的来源电信、金融、保险、电力、石化系统；公共安全、医疗、交通领域；气象、地理、政务等领域；制造业和其他产业。按行业划分：企业（关系型数据库、数据仓库）；人（浏览转发信息、聊天、电子商务、社交网络、社会媒体）；机器（服务器产生日志数据、视频监控数据）。按产生主体划分：

二、典型大数据来源（一）互联网数据互联网数据是指网络空间交互过程中产生的大量数据，包括通信记录、QQ、微信、微博和抖音等社交媒体产生的数据，多为半结构化或非结构化数据，其数据复杂且难以被利用。

二、典型大数据来源（二）物联网数据1.按数据的变化分多为标签类、地质类数据，多以结构化关系型数据库存储，它会随着传感器和控制设备数量的增多而增加。射频识别产生的数据多为静态数据。静态数据是以时间为序列的数据，每个数据都与时间有一一对应关系，并且这种关系在数据处理中尤其重要，这类数据存储通常采用时序数据库方式存储。动态数据

二、典型大数据来源（二）物联网数据2.按原始特性分资产属性类数据通常指硬件资产数据,如设备的规格、参数等属性，设备的位置信息、设备之间的从属关系等。能源类数据是与能耗相关的，或者是计算能耗所需的相关数据,如电流、电压、功率、频率、谐波等。诊断类数据是设备运行过程中检测设备运行状态的数据。诊断类数据有两类：一类为设备运行参数；另一类为设备外围诊断数据

二、典型大数据来源（三）日志文件数据日志文件数据一般由数据源系统产生，用于记录数据源执行的各种操作活动，如网络监控的流量管理、金融应用的资金记账和Web服务器记录的用户访问行为。

二、典型大数据来源（四）企业业务系统数据企业业务系统是指一个企业把自己的产品推向市场并取得最大化收益的一个企业分系统。企业每时每刻产生的业务数据，以数据库一行记录的形式，被直接写入数据库中。

PART02大数据的采集方法

一、认识数据采集（一）数据采集是指从传感器和其他待测设备等仿真模拟和数据被测单元中全自动采集信息的过程。数据采集通过各种技术手段把外部各种数据源产生的数据实时或非实时地采集并加以利用。数据采集，又称“数据获取”

一、认识数据采集（二）传统数据采集与大数据采集的区别数据源来源单一，且存储、管理和分析数据量相对较少；数据类型和数据存储大多采用关系型数据库和并行数据仓库。传统数据采集：01大数据采集：02数据源来源广泛，数据量巨大；数据类型丰富多样，有结构化、半结构化和非结构化；采用分布式数据库、分布式文件系统存储管理数据。

一、认识数据采集（三）数据采集的三大要点011.全面性数据采集需要足够全面，动态大数据才能发挥价值。022.多维性数据更重要的是要能满足用户分析需求，数据分析是目的。033.高效性高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。

二、常用数据采集方法认知（一）系统日志采集方法很多互联网企业的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的页面浏览量、查询等），处理这些日志需要特定的日志系统。它们都有自己的海量数据采集工具，多用于系统日志采集，如Facebook公司的Scribe、Hadoop平台的Chukwa、Clmidem公司的Flume等。这些工具均采用了分布式架构，能满足每秒数百兆的日志数据采集和传输需求。

二、常用数据采集方法认知（二）互联网数据采集方法1.工作流程

二、常用数据采集方法认知（二）互联网数据采集方法2.网页抓取策略该策略的基本思路是将新下载网页中发现的链接直接插入待抓取URL队列的末尾然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。宽度优先遍历策略：以网站为单位来衡量网页重要性，根据所属网站归类，如果哪个网站等待下载的页面最多，则优先下载这些链接。大站优先性策略：该策略是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。深度优先遍历策略：反向链接数是指一个网页被其他网页链接指向的数量。反向链接数策略：

二、常用数据采集方法认知（三）其他数据采集方法对于企业生产经营数据或学科研究数据等保密性要求较高的数据，可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。

PART03大数据采集平台

一、Flume（一）Flume背景Flume最初是由Cloudem的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。2011年10月22日，对Flume进行了里程碑式的改动。重构核心组件、核心配置以及代码架构，重构后的版本统称FlumeNG，同时将Flu