大数据详细介绍.pdf

大数据

伴随网络信息化时代日益普遍，移动互联、社交网络、电子商务

大大拓展了互联网疆界和应用领域，我们正处于一个数据爆炸性增加我们正处于一个数据爆炸性增加

大数据大数据时代，大数据在社会经济、政治、文化，人们生活等方面产

生深远影响，大数据时代对人类数据驾驭能力提出了新挑战与机遇。

“大数据”作为时下最炽热IT行业词汇，随之而来数据仓库、

数据安全、数据分析、数据挖掘等等围绕大数据商业价值利用逐步成

为行业人士争相追捧利润焦点。

一、大数据时代产生背景

进入以来，大数据（BigData）一词越来越多地被提及与使用，

人们用它来描述和定义信息爆炸时代产生海量数，它已经出现过在

《纽约时报》、《华尔街时报》专栏封面，进入美国白宫网新闻，现身

在国内一些互联网主题讲座沙龙中，甚至被嗅觉灵敏国君证券、国泰

君安、银河证券等写进了投资推荐汇报，大数据时代降临据。

有些人说二十一世纪是数据信息时代，移动互联、社交网络、电

子商务大大拓展了互联网疆界和应用领域。我们在享受便利同时，也

无偿贡献了自己“行踪”。现在互联网不但知道对面是一只狗，还知

道这只狗喜欢什么食物，几点出去遛弯，几点回窝睡觉。我们不得不

接收这个现实，每个人在互联网进入到大数据时代，都将是透明性存

在。各种数据正在快速膨胀并变大，它决定着企业未来发展，即使现

在企业可能并没有意识到数据爆炸性增加带来问题隐患，不过伴随时

间推移，人们将越来越多意识到数据对企业主要性。大数据时代对人

类数据驾驭能力提出了新挑战，也为人们取得更为深刻、全方面洞察

能力提供了前所未有空间与潜力。正如《纽约时报》2月一篇专栏中

所称，“大数据”时代已经降临，在商业、经济及其余领域中，决议

将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社

会学教授加里·金说：“这是一场革命，庞大数据资源使得各个领域开

始了量化进程，不论学术界、商界还是政府，全部领域都将开始这种

进程。”

二、什么是大数据？

美国互联网数据中心指出，互联网上数据每年将增加50%，每

两年便将翻一番，而现在世界上90%以上数据是最近几年才产生。

另外，数据又并非单纯指人们在互联网上公布信息，全世界工业设备、

汽车、电表上有着无数数码传感器，随时测量和传递着关于位置、运

动、震动、温度、湿度乃至空气中化学物质改变，也产生了海量数据

信息。

对于“大数据”（Bigdata）研究机构Gartner给出了这么定义。

“大数据”是需要新处理模式才能具备更强决议力、洞察发觉力和流

程优化能力海量、高增加率和多样化信息资产。

大数据”这个术语最早期引用可追溯到apacheorg开源项目

Nutch。当初，大数据用来描述为更新网络搜索索引需要同时进行批

量处理或分析大量数据集。伴随谷歌MapReduce和谷歌File

System（GFS）公布，大数据不再仅用来描述大量数据，还涵盖了

处理数据速度。

大数据（BigData）是指那些超出传统数据库系统处理能力数据。

它数据规模和转输速度要求很高，或者其结构不适合原本数据库系

统。为了获取大数据中价值，我们必须选择另一个方式来处理它。数

据中隐藏着有价值模式和信息，在以往需要相当时间和成本才能提取

这些信息。如沃尔玛或谷歌这类领先企业都要付高昂代价才能从大数

据中挖掘信息。而当今各种资源，如硬件、云架构和开源软件使得大

数据处理更为方便和廉价。即使是在车库中创业企业也能够用较低价

格租用云服务时间了。对于企业组织来讲，大数据价值表现在两个方

面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中信息。

比如零售业中对门店销售、地理和社会信息分析能提升对客户了解。

对大数据二次开发则是那些成功网络企业长项。比如Facebook经过

结合大量用户信息，定制出高度个性化用户体验，并创造出一个新广

告模式。这种经过大数据创造出新产品和服务商业行为并非巧合，谷

歌、雅虎、亚马逊和Facebook它们都是大数据时代创新者。

伴随云时