大数据的概念、征及其应用.docxVIP

马建光等：大数据的概念、特征及其应用 ?(2013-09-05 16:15:35) HYPERLINK javascript:; 转载▼ 标签：? HYPERLINK /?c=blogq=%D4%D3%CC%B8by=tag \t _blank 杂谈 分类：? HYPERLINK /s/articlelist_1318676951_2_1.html \t _blank 学习资料 大数据的概念、特征及其应用 马建光，姜巍 (国防科技大学人文与社会科学学院，湖南长沙410074) 源自：国防科技2013年4月 ? ［摘要］?随着互联网的飞速发展，特别是近年来随着社交网络、物联网、云计算以及多种传感器的广泛应用，以数量庞大，种类众多，时效性强为特征的非结构化数据不断涌现，数据的重要性愈发凸显，传统的数据存储、分析技术难以实时处理大量的非结构化信息，大数据的概念应运而生。如何获取、聚集、分析大数据成为广泛关注的热点问题。介绍大数据的概念与特点，分别讨论大数据的典型的特征，分析大数据要解决的相关性分析、实时处理等核心问题，最后讨论大数据可能要面临的多种挑战。 ［关键词］?大数据;?非结构化信息;?解决核心问题;?未来挑战 ? 一、引言 自上古时代的结绳记事起，人类就开始用数据来表征自然和社会，伴随着科技和社会的发展进步，数据的数量不断增多，质量不断提高。工业革命以来，人类更加注重数据的作用，不同的行业先后确定了数据标准，并积累了大量的结构化数据，计算机和网络的兴起，大量数据分析、查询、处理技术的出现使得高效的处理大量的传统结构化数据成为可能。而近年来，随着互联网的快速发展，音频、文字、图片视频等半结构化、非结构化数据大量涌现，社交网络、物联网、云计算广泛应用，使得个人可以更加准确快捷的发布、获取数据。在科学研究、互联网应用、电子商务等诸多应用领域，数据规模、数据种类正在以极快的速度增长，大数据时代已悄然降临。 首先，全球数据量出现爆炸式增长，数据成了当今社会增长最快的资源之一。根据国际数据公司IDC?的监测统计［1］，即使在遭遇金融危机的2009?年，全球信息量也比2008?年增长了62%，达到80?万PB ( 1PB?等于10亿GB)?，到2011?年全球数据总量已经达到1. 8ZB ( 1ZB?等于1?万亿GB，)?，并且以每两年翻一番的速度飞速增长，预计到2020?年全球数据量总量将达到40 ZB，10年间增长20?倍以上，到2020?年，地球上人均数据预计将达5247GB。在数据规模急剧增长的同时，数据类型也越来越复杂，包括结构化数据、半结构化数据、非结构化数据等多种类型，其中采用传统数据处理手段难以处理的非结构化数据已接近数据总量的75%。 如此增长迅速、庞大繁杂的数据资源，给传统的数据分析、处理技术带来了巨大的挑战。为了应对这样的新任务，与大数据相关的大数据技术、大数据工程、大数据科学和大数据应用等迅速成为信息科学领域的热点问题，得到了一些国家政府部门、经济领域以及科学领域有关专家的广泛关注。2012?年3?月22?日，奥巴马宣布美国政府五大部门投资2?亿美元启动“大数据研究和发展计划( Big Data Research and Development Initiative)?”［2］，欲大力推动大数据相关的收集、储存、保留、管理、分析和共享海量数据技术研究，以提高美国的科研、教育与国家安全能力。这是继1993?年美国宣布“信息高速公路”计划后的又一次重大科技发展部署，美国政府认为大数据是未来信息时代的重要资源，战略地位堪比工业时代的石油，其影响除了体现在科技、经济方面，同时将也对政治、文化等方面产生深远的影响。在商业方面，2013?年，Gartner?发布了将在未来三年对企业产生重大影响的十大战略技术中，大数据名列其中，提出大数据技术将影响企业的长期计划、规划和行动方案，同时，IBM、Intel、EMC、Walmart、Teradata、Oracle、Microsoft、Google、Facebook?等发源于美国的跨国巨头也积极提出自己的应对大数据挑战的发展策略，他们成了发展大数据处理技术的主要推动者。在科技领域，庞大的数据正在改变着人类发现问题、解决问题的基本方式，采用最简单的统计分析算法，将大量数据不经过模型和假设直接交给高性能计算机处理，就可以发现某些传统科学方法难以得到的规律和结论。图灵奖得主吉姆·格雷提出的数据密集型科研第四范式［3］，不同于传统的实验、理论和计算三种范式，第四种范式不需要考虑因果关系，以数据为中心，分析数据的相关性，打破了千百年来从结果出发探究原因的科研模式，大规模的复杂数据使得新的科研模式成为可能。 虽然大数据日益升温，但与大多数信息学领域的问题一样，大数据的基本概念及特点，大数据要解