第十四章大数据管理-SJTUCS.PDFVIP

第十四章 大数据管理 目录  大数据概述  大数据应用  大数据管理系统介绍 大数据的来源 概念的发展：  超大规模数据（20世纪70年代，数百万条）  海量数据（21世纪，更大，更丰富的数据 集）  大数据（2008年9月science发表的big data: science in the Petabyte era） 大数据定义  指无法在可容忍的时间里用现有的IT技术 和软硬件工具对其进行感知，获取，管理， 处理和服务的数据集合。  通常被认为是PB （1000TB）或EB或更高数 据量级的数据，包括结构化的，半结构化 的和非结构化的数据。 I byte=8 bit 1KB=1024 byte 1MB=1024 KN 1G=1024MB 1TB=1024GB 1PB=1024TB 1EB=1024PB 大数据的特点  巨量：人均5.2TB  多样：文本，图像，图形，音频，视频， 博客等  快变：实时性，动态，快速产生  价值：潜在，巨大。  Volume,Variety,Velocity,Variability,V eracity,  Complexity,Value 大数据应用  互联网文本大数据管理与挖掘  基于大数据分析的用户建模 大数据管理系统 Nosql数据管理系统  Non-relational  Not only SQL NOSQL 数据模型  Key-value  Big Table ：按列存放，支持时间戳及版本 控制等元数据的存贮  Document：支持复杂的结构定义，支持数 据库索引的定义。  Graph，G(v,e) v为节点集合，每个节点具 有若干属性，e 是边的集合，也可以有若 干属性。支持图结果的各种基本算法。 Key-value 举例 {“Beers”: 说明： [ { “name”: “Bud”, 结构是嵌套的 “manf”: “A.B.”, “price”: 13}, • 基本数值 {“name”: “Mobel”, number, string, boolean, … “manf”: “A.B.”, • 对象 { } “Prize”: {“year”: sets of label-value 1995, award”: “gold