(1.44)--5.6 大数据的概念及影响.pdfVIP

HeilongjiangInstituteofTechnology

大学计算机

——计算思维视角

章名：数据库与大数据

节名：大数据的概念及影响

主讲人：

目录

Contents

1大数据的概念

2大数据的影响

大数据的概念

大数据的特性？

大量化多样化

VARIETY

VOLUME

4V

价值密度低快速化

VALUEVELOCITY

大数据的概念

1.数据量大(大量化)

根据国际机构IDC作出的估测，数据一直都在

以每年50%的速度增长，也就是说每两年就

增长一倍。（大数据摩尔定律）

人类在最近两年产生的数据量相当于之前产生

的全部数据量。

预计到2020年，全球将总共拥有35ZB的数

据量，相较于2010年，数据量将增长近30倍。

369

1ZB≈10EB≈10PB≈10TB

大数据的概念

2.数据类型多样化

大数据的数据类型繁多，由结构化和非结构化

数据组成的。

10%的结构化数据，存储在关系数据库中有规律

的数据。

90%的非结构化数据，它们与人类信息密切相关。

大数据的概念

2.数据类型多样化

科学研究

•基因组Web1.0数据

•LHC(粒子)加速器•文本、图像、视频

•地球与空间探测

企业应用Web2.0数据

•Email•查询日志/点击流

•文档、文件•Twitter(推特)

•应用日志•Blog(博客)

•交易记录•SNS(社交网络服务)

•Wiki(超文本系统)

大数据的概念

3.处理速度非常快

秒级服务

以前：把大量数据拿出来进行分析，后拿出

一个报告，服务企业决策。

现在：企业级应用都需要秒级决策。

从数据的生成到消耗，时间窗口非常

小，可用于生成决策的时间非常少。

1秒定律：这一点也是和传统的数据挖掘技

术有着本质的不同。

大数据概念

实例：谷歌公司开发一款Dremel产品，做交互式查询。这样一个

产品可达到一个什么样的查询实时程度呢？

结论：把成百上千台服务器同时调劢起来做集群运算，1秒钟左右

可实现1PB数据量的交互式查询。

大数据的概念

4.价值密度低

大数据的影响

1、社会发展方面

2、就业市场方面

3、人才培养方面

4、科学研究方面

5、思维方式方面

大数据的影响

1、社会发展方面

大数据决策逐渐成为一种新的决策方式