浅议大数据的产生与发展现状.docVIP

浅议大数据的产生与发展现状 　　摘要：当今社会，计算机和信息技术的发展越来越迅猛，各行应用系统的规模在迅速扩大，各行业应用所产生的数据呈井喷式增长。很多数据达到数百TB甚至数十至数百PB的规模，各行业所应用的大数据已远远超出了传统的计算和信息技术的处理能力，因此，现实世界迫切需要寻求有效的大数据处理技术、方法和手段。 　　关键词：信息技术；大数据；处理技术 　　一、大数据产生的背景 　　计算机和网络已经成为当今社会不可或缺的重要工具，人们在各个领域中都需要计算机的帮助，人们利用计算机的高速度和大容量的特点完成了原来不能完成的任务，并且这种大容量的应用越来越广。例如淘宝网站累计的交易数据量高达100PB；百度网站目前的总数据量已超过1000PB，每天处理网页的数据达到10PB～100PB；中国移动公司在某一个省一个月的电话通话记录数据高达 0.5PB～1PB；一个大型城市道路车辆监控数据三年达200亿条、总量120TB。据世界权威信息咨询分析公司研究报告预测：全世界的数据量将从2009年的0.8ZB增长到2020年的35ZB，10年将增长44倍。 　　人们在早些年习惯把大规模数据称为“海量数据”，但实际上，大数据（Big Data）这个概念在2008年就已经被提出。2008年，在Google公司成立10周年之际，著名的《自然》杂志专门出版了一期专刊，讨论大数据相关的一系列技术问题，其中就提出了大数据（Big Data）的概念。 　　随着对大数据越来越多的了解，人们常常会问，究竟怎样的数据才能称作大数据？其实，关于大数据的定义，难以有一个非常准确的说法。维基百科给出了一个关于大数据的描述：大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据集。其实，如今“大数据”一词的重点已经不仅在于数据规模的定义，它更多的是代表着计算机以及信息技术发展进入了一个新的时代，代表着大数据处理所需要的新技术和新方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。 　　由于人们已经认识到大数据的迫切性和重要性，近年来大数据技术已经在各国政府、学术界、以及工业界得到高度重视，全球掀起了一场可与20世纪90年代的信息高速公路相提并论的研究热潮。 　　二、大数据的特征 　　计算机领域通常用4个V（即Volume、Variety、Value、Velocity）来概括大数据的特征。 　　大数据的特征一是数据量巨大（Volume）。据有关统计，截至目前，人类生产的所有印刷材料的数据量大约是200PB，而历史上全人类说过的所有的话的数据量大约是5EB。然而目前很多个人计算机硬盘的容量为TB量级，而很多大企业的数据量已经接近或达到EB量级。 　　大数据的特征二是数据类型繁多（Variety）。类型的多样性让数据被分为结构化数据和非结构化数据。相对于以往为了方便存储以文本为主的结构化数据，大数据主要采用非结构化数据，主要包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理技术提出了更高要求。 　　大数据的特征三是价值密度低（Value）。价值密度的高低与数据总量的大小成反比例关系。以监控视频为例，一段1小时的监控视频，有用数据可能仅有一二秒。如何通过精密的机器算法更迅速地完成对大量数据的价值“提纯”成为目前大数据背景下亟待解决的难题。 　　大数据的特征四是处理速度快（Velocity）。这是大数据区分于传统数据最显著特征之一。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，如何快速准确处理数据将是最关键的步骤。 　　三、大数据发展现状 　　（一）政府积极介入推动 　　2012年1月世界经济论坛年会上“大数据、大影响”作为重要议题来讨论。美国从开展关键技术研究、开放政府数据和推动大数据应用三方面布局大数据产业。美国在开放政府数据上表现非常积极，通过data.gov开放37万个数据集，并将开放网站的API和源代码，提供了上千个数据应用。同时美国提倡发起全球开放政府数据运动，目前已有四十多个国家和政府响应。 　　（二）资本市场也对大数据钟爱有加 　　大数据的迅速发展，使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算，现在国外大数据行业约有1000亿美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。 　　2012年4月，大数据分析公司Splunk高调宣传大数据，引发投资者关注。2012年12月初，为企业市场提供Hadoop解决方案的创业公司Cloudera获得6500万美元融资，估值约为7亿美元。近期，高盛联席主席斯科特斯坦福说：“投资大数据及其运用回报率最高