大数据关键技术及发展-精品文档.pdfVIP

大数据关键技术及发展-精品文档--第1页

大数据关键技术及发展

DOIDOI：10.11907/rjdk.161899

0引言

随着互联网、物联网、云计算、三网融合等IT与通信新技

术的迅速发展，人类社会的数据规模和种类正以史无前例的速度

扩张，大数据时代正式来临。大数据规模大、类型多样、生成快

速，且具有潜在价值，对科技进步和人类社会发展具有重大意义。

1大数据概念

目前，虽然大数据的重要性已经得到各界的一致认同，但大

数据是一个比较抽象的概念，关于大数据的定义尚未形成统一定

论。一般意义上，大数据是指无法在有限时间内用传统IT技术

和软硬件工具对其进行感知、获取、管理、处理和服务的数据集

合[1]。具体定义有：①全球最大的电子商务公司亚马逊的大数

据科学家JohnRauser认为：大数据是任何超过了一台计算机处

理能力的数据量[2]；②Informatica中国区首席产品顾问但彬

认为：“大数据”是“海量数据”+复杂类型的数据[3]；③维基

百科将大数据定义为：利用常用软件工具来获取、管理和处理数

据所耗时间超过可容忍时间的数据集[4]；④全球著名咨询机构

麦肯锡公司在报告《Bigdata：Thenextfrontierfor

innovation，competition，andproductivity》中给出的大数

据定义是：大数据是指其大小超出常规的数据库工具获取、存储、

大数据关键技术及发展-精品文档--第1页

大数据关键技术及发展-精品文档--第2页

管理和分析能力的数据集[2]。但同时也指出，所谓的大数据，

并不是说其数据集要一定超过特定TB值；⑤IDC（国际数据公司）

在发布的报告中将大数据定义为：大数据技术描述了新一代的技

术和架构体系，通过高速采集、发现或分析，提取各种各样的大

量数据的经济价值[2]。

第5种定义中总结了大数据的4V特征：

（1）Volume（体量浩大）。在数据爆炸时代，数据单位已

无法用传统的TB来衡量，而是用PB、EB或者ZB作为大数据的

计量单位。导致数据激增的原因很多，主要是互联网络的广泛使

用使人类快速进入信息时代，数据疯狂增长，必然使得数据处理

量显著增多。

（2）Variety（类型繁多）。以往的数据尽管体量巨大，但

一般都是比较容易处理的结构化数据。当前，随着互联网络与传

感器的飞速发展，不仅包含传统的结构化数据，还包括音频、视

频、网页、文本等半结构和非结构化数据。

（3）Velocity（生成快速）。数据量的疯狂增长，使得数

据处理的速度加快，这也是大数据区别于以往海量数据处理的重

要特征。面临各种信息，如何把握数据的时效性，快速地从各种

数据类型中获取高价值的信息，是大数据时代处理的基本要求。

（4）Value（价值巨大但密度很低）。大数据为了获得事物

的全部细节，会直接采用原始数据，导致存在大量的无用信息，

使得人们获取有用信息的难度加大，就像沙子淘金。

大数据关键技术及发展-精品文档--第2页

大数据关键技术及发展-精品文档--第3页

目前，对于大数据的4V定义是目前较为统一的认识。其特

有的4种特征使得大数据的概念与以往“海量数据”和“超大

规模数据”有着本质区别，除了用来描述数据之“大”，还指出

了大数据的意义和必要性，即如何从体量巨大、类型繁多、生成

快速的数据集中挖掘价值。

2大数据研究现状

尽管大数据的概念没有一个统一的定论，但并不影响各领域