大数据概念技术及应用研究综述.docxVIP

文章编号: 1674-7070( 2014) 05-0405-15方巍1，2，3郑玉1，2徐江1，2大数据: 概念、技术及应用研究综述摘要0引言近来，当人们对“物联网”、“云计算”、“移动互联网”等热词还感随着物联网、云计算、移动互联网的迅猛发展，大数据( Big Data) 吸引了越来越多的关 注，正成为信息社会的重要财 富，同时也给数据的处理与管理带来了 巨大挑战.首先从大数据概念入手，阐述了大数据 的 来 源、主 要 挑 战、关 键 技 术、大数据处理工具和应用实例等，并 对 比了大数据与云计算、物联网、移动互联网 等技术之 间 关 系，然后剖析了大数据核 心技术、大数据企业解决方案，讨论了目 前大数据 应 用 实 例，最后归纳总结了大 数据 发 展 趋 势. 旨在为了解大数据当前 发展状况、关键技术以及科学地进行大 数据分析与处理提供参考.关键词大数 据; 云 计 算; 大 数 据 处 理; 分 布式系统; NoSQL觉模糊时，“大 数 据”( Big Data) 又横空出世且其发展成燎原之势.2014 年巴西世界杯与往届世界杯最大不同的是，其融入了诸多的科 技元素如“云计算”、“大数据”等. IBM 研究表明，在整个人类文明所获得的全部数据中，有 90%是过去 2 年内产生的，到 2020 年，全世界所产生的数据规模将达到 2009 年的 44 倍.根据国际数据公司 IDC 监 测，人类产生的数据量正在呈指数 级 增 长，大 约 每 2 年 翻 一 番，2020年全球数量将达到 35 ZB.据统计，平均每一秒都有 200 万用户在使用 Google 搜索，Facebook 注册用户超过 10 亿，每天生成 300 TB 以上的 日志数据.同时，传感网、物联网、社交网络等技术迅猛发展，引发数据 规模爆炸式增长，各种视频监控、监测、感应设备也源源不断地产生巨量流媒体数据，能源、交通、医疗卫生、金融、零售业等各行业也有 大量数据不断产生，积累了 TB 级、PB 级的大数据. 上述情况表明，现 在已进入大数据时代，大数据已经开始造福于人类，成为信息社会的 宝贵财富.大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日 报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的3 大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞 争制高点的重要举措.当前大数据分析者面临的主要问题有: 数据日趋庞大，无论是入 库和查询，都出现性能瓶颈; 用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高; 使用的模型越来越复杂，计算量指 数级上升; 传统技能和处理方法无法应对大数据挑战.可喜的是，学术界、工业界甚至于政府机构都已经开始密切关注 大数据 问 题，并对其产生浓厚的兴趣. 就 学 术 界 而 言，《Nature 》和《Science》等国际顶级学术期刊相继出版专刊专门探讨大数据 问 题.中图分类号 TP393.4文献标志码 A收稿日期 2014-09-01资助项目 计算机软件新技术国家重点实验室( 南京 大 学 ) 开 放 课 题 ( KFKT2014B21) ; 2014年全国 及 江 苏 省大学生实践创新训练计划 ( 201410300026) ; 江苏高校优势学科建设工程资助项目作者简介方巍，男，博士，副教授、高级工程师，主要研究方向为智能信息处理、云计算和大数据分 析.hsfangwei@ 1 南京信息工程大学 江苏省网络监控中心，南京，210044［1］2008 年《Nature》出版了“Big Data”专刊 ，从互联网技术、网络经济学、超级计算、环境科学、生物医学等多个科技方面介绍大数据带来 的挑战.《Science》也在 2011 年推出数据处理“Dealing with Data”专 刊［2］，讨论大数据所带来的挑战和大数据科学研究的重要性. IT 产业南京信息工程大学 计算机与软件学院，南京，2100443 南 京 大学 计算机 软件新技术国家 重 点 实 验室，南京，2100462方巍，等.大数据: 概念、技术及应用研究综述.FANG Wei，et al.Big Data: Conceptions，key technologies and application.406据行业应用实例，最后是全文总结并对大数据研究进行展望.界如 IBM、Google、亚马逊、Facebook 等国际知名企业都是大数据的主要推动者，相继推出了各自的大数 据产品.国内的大数据企业代表有百度、阿 里 巴 巴、 腾讯等. 可以说，大数据兴起另一重要原因是经济利 益驱动