大数据_概念_技术及应用研究综述_方巍.docVIP

文章编号:1674-7070(201405-0405-15方巍1,2,3郑玉1,2徐江1, 2大数据:概念、技术及应用研究综述 摘要 随着物联网、云计算、移动互联网的迅猛发展,大数据(Big Data吸引了越来越多的关注,正成为信息社会的重要财富,同时也给数据的处理与管理带来了巨大挑战.首先从大数据概念入手,阐述了大数据的来源、主要挑战、关键技术、大数据处理工具和应用实例等,并对比了大数据与云计算、物联网、移动互联网等技术之间关系,然后剖析了大数据核心技术、大数据企业解决方案,讨论了目前大数据应用实例,最后归纳总结了大数据发展趋势.旨在为了解大数据当前发展状况、关键技术以及科学地进行大数据分析与处理提供参考. 关键词 大数据;云计算;大数据处理;分布式系统;NoSQL 中图分类号TP393.4 文献标志码A 收稿日期2014-09-01 资助项目计算机软件新技术国家重点实验室(南京大学开放课题(KFKT2014B21;2014年全国及江苏省大学生实践创新训练计划(201410300026;江苏高校优势学科建设工程资助项目 作者简介 方巍,男,博士,副教授、高级工程师,主要研究方向为智能信息处理、云计算和大数据分析.hsfangwei@ 1南京信息工程大学江苏省网络监控中心,南京,210044 2南京信息工程大学计算机与软件学院,南京, 210044 3南京大学计算机软件新技术国家重点实验室,南京,2100460引言 近来,当人们对“物联网”、“云计算”、“移动互联网”等热词还感觉模糊时,“大数据”(Big Data又横空出世且其发展成燎原之势. 2014年巴西世界杯与往届世界杯最大不同的是,其融入了诸多的科技元素如“云计算”、“大数据”等.IBM研究表明,在整个人类文明所获得的全部数据中,有90%是过去2年内产生的,到2020年,全世界所产生的数据规模将达到2009年的44倍.根据国际数据公司IDC监测,人类产生的数据量正在呈指数级增长,大约每2年翻一番,2020年全球数量将达到35ZB.据统计,平均每一秒都有200万用户在使用Google搜索,Facebook注册用户超过10亿,每天生成300TB以上的日志数据.同时,传感网、物联网、社交网络等技术迅猛发展,引发数据规模爆炸式增长,各种视频监控、监测、感应设备也源源不断地产生巨量流媒体数据,能源、交通、医疗卫生、金融、零售业等各行业也有大量数据不断产生,积累了TB级、PB级的大数据.上述情况表明,现在已进入大数据时代,大数据已经开始造福于人类,成为信息社会的宝贵财富. 大数据泛指大规模、超大规模的数据集,因可从中挖掘出有价值的信息而倍受关注,但传统方法无法进行有效分析和处理.《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的3大技术变革.“世界经济论坛”报告指出大数据为新财富,价值堪比石油.因此,目前世界各国纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要举措. 当前大数据分析者面临的主要问题有:数据日趋庞大,无论是入库和查询,都出现性能瓶颈;用户的应用和分析结果呈整合趋势,对实时性和响应时间要求越来越高;使用的模型越来越复杂,计算量指数级上升;传统技能和处理方法无法应对大数据挑战. 可喜的是,学术界、工业界甚至于政府机构都已经开始密切关注大数据问题,并对其产生浓厚的兴趣.就学术界而言,《Nature》和《Science》等国际顶级学术期刊相继出版专刊专门探讨大数据问题. 2008年《Nature》出版了“Big Data”专刊[1],从互联网技术、网络经济学、超级计算、环境科学、生物医学等多个科技方面介绍大数据带来的挑战.《Science》也在2011年推出数据处理“Dealing with Data”专刊[2],讨论大数据所带来的挑战和大数据科学研究的重要性.IT产业 界如IBM、Google、亚马逊、Facebook等国际知名企业都是大数据的主要推动者,相继推出了各自的大数据产品.国内的大数据企业代表有百度、阿里巴巴、腾讯等.可以说,大数据兴起另一重要原因是经济利益驱动.大数据是一个具有国家战略意义的新兴产业,作为国家和社会的主要管理者,各国政府机构也是大数据技术的主要推动者.2012年3月29日,美国政府宣布投资2亿美元启动“大数据研究和开发计划[3](Big DataＲesearch and Development Initiative”,该计划旨在提高和改进人们从海量和复杂的数据中获取知识的能力,加快科学、工程领域的创新步伐,增强国家安全,把大数据看作“未来的新石油”,并将对大数据的研究上升为国家意志,其6大机构合力研发核心技术,支持协同创新.英国、澳大利亚等国政府也开始大数据研究进程.我国对大数据研究也已提出指导性方针,《国家中长期科技