大数据应用及其解决方案.pdfVIP

可编辑

1.1.概述

大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国

家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、

物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一

个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移

动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、

移动终端接入到网络，由此而产生的数据及增长速度将比历史上的任

何时期都要多、都要快。

互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。

为帮助那些往想互联网方向转行想学习，却因为时间不够，资源不足

而放弃的人。欢迎加入北大青鸟佳音校区。

1.2.大数据定义

“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一

定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集

合。IBM将“大数据”理念定义为4个V，即大量化(Volume)、多样

化(Variety)、快速化(Velocity)及由此产生的价值(Value)。

要理解大数据这一概念，首先要从大入手，大是指数据规模，

大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过

去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、

Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、

精品文档，欢迎下载

可编辑

速度快。•数据体量巨大。从TB级别，跃升到PB级别。•数据类

型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

•价值密度低。以视频为例，连续不间断监控过程中，可能有用的

数据仅仅有一两秒。•处理速度快。1秒定律。最后这一点也是和

传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、

车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的

传感器，无一不是数据来源或者承载的方式。大数据技术是指从各种

各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问

题的核心是大数据技术。目前所说的大数据不仅指数据本身的规

模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的

是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问

题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何

处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术

研发，抢占时代发展的前沿。

精品文档，欢迎下载

可编辑

1.3.大数据技术发展

大数据技术描述了一种新一代技术和构架，用于以很经济的方式、

以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值，

而且未来急剧增长的数据迫切需要寻求新的处理技术手段。

精品文档，欢迎下载

可编辑

在“大数据”(Bigdata)时代，通过互联网、社交网络、物联网，

人们能够及时全面地获得大信息。同时，信息自身存在形式的变化与

演进，也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。

云时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产

生的绝大部分数据为图片、文档、视频等非结构化数据。信息化技术

的普及使得企业更多的办公流程通过网络得以实现，由此产生的数据

也以非结构化数据为主。预计到2012年，非结构化数据将达到互联

网整个数据量的75%以上。用于提取智慧的“大数据”，往往是这些

非结构化数据。传统的数据仓库系统、BI、链路挖掘等应用对数据处

理的时间要求往往以小时或天为单位。但“大数据”应用突出强调数

据处理的实时性。在线个性化推荐、股票交易处理、实时路况信息等

数据处理时间要求在分钟甚至秒级。全球技术研究和咨询公司

Gartner将“大数据”技术列入2012年对众多公司和组织机构具有

战略意义的十大技术与趋势之一，而其他领域的研究，如云计算、下

一代分析、内存计算等也都与“大数据”的研究相辅相成。Gartner

在其新兴技术成熟度曲线中将“大数据”技术视为