大数据技术与应用项目化教程大数据的采集与存储04.pdfVIP

项目四

大数据的采集与

存储

大数据技术与应用项目化教程

01.大数据来源

02.大数据的采集方法目录

Contents

03.大数据采集平台

04.数据预处理

05.大数据存储

PART01

大数据来源

一、大数据的来源

按产生主体划分：按行业划分：

企业（关系型数据库、数据电信、金融、保险、电力、石

仓库）；人（浏览转发信息、化系统；公共安全、医疗、

聊天、电子商务、社交网络、通领域；气象、地理、政务等

社会媒体）；机器（服务器领域；制造业和其他产业。

产生日志数据、视频监控数

据）。

二、典型大数据来源

（一）互联网数据

互联网数据

是指网络空间交互过程中产生的大量数据，包

括通信记录、QQ、微信、微博和抖音等社

媒体产生的数据，多为半结构化或非结构化数

据，其数据复杂且难以被利用。

二、典型大数据来源

（二）物联网数据1.按数据的变化分

静态数据动态数据

多为标签类、地质类数据，多以结构化是以时间为序列的数据，每个数据都与

关系型数据库存储，它会随着传感器和时间有一一对应关系，并且这种关系在

控制设备数量的增多而增加。射频识别数据处理中尤其重要，这类数据存储通

产生的数据多为静态数据。常采用时序数据库方式存储。

二、典型大数据来源

（二）物联网数据2.按原始特性分

能源类数据资产属性类数据诊断类数据

是与能耗相关的，或者是通常指硬件资产数据,如设是设备运行过程中检测设

计算能耗所需的相关数据,备的规格、参数等属性，备运行状态的数据。诊断

如电流、电压、功率、频设备的位置信息、设备之类数据有两类：一类为设

率、谐波等。间的从属关系等。备运行参数；另一类为设

备外围诊断数据

二、典型大数据来