第3章-大数据存储与管理基本概念-大数据技术基础-宋旭东-清华大学出版社.pptxVIP

大数据技术基础

2020

大数据存储与管理基本概念

03

3.1大数据的数据类型



企业和用户的交易数据：

如POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、销售系统数据、客户关系管理系统数据、公司的生产数据、库存数据、订单数据、供应链数据等



移动通信设备的移动通信数据：

如聊天信息、定位信息、网络浏览信息等。



日常的行为数据：

如电子邮件、文档、图片、音频、视频，以及通过微信、博客、推特、维基、Facebook、等社交媒体产生的数据流。



机器和传感器创建或生成的数据：

如感应器、量表、智能温度控制器、智能电表、工厂机器和连接互联网的家用电器、GPS系统数据等。

结构化数据通常存储在数据库中，是具有数据结构描述信息的数据，这种数据类型先有结构再有数据。例如可以用二维表等结构来逻辑表达的数据。

大数据可按照数据结构划分为三类：

结构化数据、半结构化数据和非结构化数据。

3.1大数据的数据类型——结构化数据

✬数据特点：

任何一列数据都不可再分，任何一列数据都有相同的数据类型。如关系数据库SQL，Oracle中的数据。

相对于结构化数据而言，不方便用数据结构来表达的数据即为半结构化数据和非结构化数据，包括所有格式的文档、文本、图片、图像、音频、视频、HTML、XML、各类报表等。

半结构化数据是介于结构化和非结构化之间的数据，这种数据的格式一般比较规范，都