大数据管理概念技术和挑战.docVIP

大数据管理：概念、技术与挑战 孟小峰　　　慈　祥 （中国人民大学信息学院　北京　１００８７２） 摘　要　云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增 长，大数据时代正式到来．数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用 大数据已经成为普遍关注的话题．大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑 战，数据管理方式上的变革正在酝酿和发生．对大数据的基本概念进行剖析，并对大数据的主要应用作 简单对比．在此基础上，阐述大数据处理的基本框架，并就云计算技术对于大数据时代数据管理所产生 的作用进行分析．最后归纳总结大数据时代所面临的新挑战． 关键词　大数据；数据分析；云计算 中图法分类号　ＴＰ３１１ 　　随着以博客、社交网络、基于位置的服务ＬＢＳ 为代表的新型信息发布方式的不断涌现，以及云计 算、物联网等技术的兴起，数据正以前所未有的速度 在不断地增长和累积，大数据时代已经来到．学术 界、工业界甚至于政府机构都已经开始密切关注大 数据问题，并对其产生浓厚的兴趣．就学术界而言， 《 Ｎａｔｕｒｅ》早在２００８年就推出了Ｂｉ ｇ　Ｄａｔａ专刊［ １］．计 算社区联盟（Ｃｏｍｐｕｔｉｎｇ　Ｃｏｍｍｕｎｉｔ ｙ　Ｃｏｎｓｏｒｔｉｕｍ） 在２００８年发表了报告“Ｂｉ ｇ　ｄａｔａ 　 ｃｏｍｐｕｔｉｎｇ：Ｃｒｅａｔｉｎｇ ｒｅｖｏｌｕｔｉｏｎａｒ ｙ　ｂｒｅａｋｔｈｒｏｕｇｈｓ 　 ｉｎ　ｃｏｍｍｅｒｃｅ，ｓｃｉｅｎｃｅ， ａｎｄ　ｓｏｃｉｅｔ ｙ” ［ ２］，阐述了在数据驱动的研究背景下， 解决大数据问题所需的技术以及面临的一些挑战． 《 Ｓｃｉｅｎｃｅ》在２０１１年２月推出专刊“Ｄｅａｌｉｎｇ　ｗｉｔｈ Ｄａｔａ” ［ ３］，主要围绕着科学研究中大数据的问题展 开讨论，说明大数据对于科学研究的重要性．美国 一些知名的数据管理领域的专家学者则从专业的研 究角度出发，联合发布了一份白皮书《Ｃｈａｌｌｅｎｇｅｓ ａｎｄ　 Ｏｐｐｏｒｔｕｎｉｔｉｅｓ　ｗｉｔｈ　Ｂｉ ｇ　Ｄａｔａ》 ［ ４］．该白皮书从学 术的角度出发介绍了大数据的产生，分析了大数据 的处理流程，并提出大数据所面临的若干挑战全球知名的咨询公司麦肯锡（ＭｃＫｉｎｓｅｙ）２０１１ 年６月份发布了一份关于大数据的详尽报告“Ｂｉ ｇ ｄａｔａ：Ｔｈｅ　ｎｅｘｔ 　ｆｒｏｎｔｉｅｒ 　ｆｏｒ 　ｉｎｎｏｖａｔｉｏｎ，ｃｏｍｐｅｔｉｔｉｏｎ， ａｎｄ　 ｐｒｏｄｕｃｔｉｖｉｔ ｙ” ［ ５］，对大数据的影响、关键技术和 应用领域等都进行了详尽的分析．进入２０１２年以 来，大数据的关注度与日俱增．１月份的达沃斯世界 经济论坛上，大数据是主题之一，该次会议还特别针 对大数据发布了报告“Ｂｉ ｇ　ｄａｔａ，ｂｉ ｇ 　 ｉｍｐａｃｔ：Ｎｅｗ ｐｏｓｓｉｂｉｌｉｔｉｅｓ 　 ｆｏｒ 　 ｉｎｔｅｒｎａｔｉｏｎａｌ 　 ｄｅｖｅｌｏｐｍｅｎｔ” ［ ６］，探讨 了新的数据产生方式下，如何更好地利用数据来产 生良好的社会效益．该报告重点关注了个人产生的 移动数据与其他数据的融合与利用．３月份美国奥 巴马政府发布了“大数据研究和发展倡议” ［ ７］（Ｂｉ ｇ ｄａｔａ 　 ｒｅｓｅａｒｃｈ　ａｎｄ　ｄｅｖｅｌｏｐｍｅｎｔ 　 ｉｎｉｔｉａｔｉｖｅ），投资２亿 以上美元，正式启动“大数据发展计划”．计划在科 学研究、环境、生物医学等领域利用大数据技术进 行突破．奥巴马政府的这一计划被视为美国政府 继信息高速公路（Ｉｎｆｏｒｍａｔｉｏｎ　Ｈｉ ｇｈｗａ ｙ）计划之后 在信息科学领域的又一重大举措．与此同时，联合 国一个名为“Ｇｌｏｂａｌ 　 Ｐｕｌｓｅ”的倡议项目在今年５月 发布报告“Ｂｉ ｇ　ｄａｔａ 　 ｆｏｒ　ｄｅｖｅｌｏｐｍｅｎｔ：Ｃｈａｌｌｅｎｇｅｓ　 ＆ ｏｐｐｏｒｔｕｎｉｔｉｅｓ” ［ ８］，该报告主要阐述大数据时代各国 特别是发展中国家在面临数据洪流（ｄａｔａ　ｄｅｌｕｇｅ）的 情况下所遇到的机遇与挑战，同时还对大数据的应 用进行了初步的解读．《纽约时报》的文章“Ｔｈｅ 　 ａｇｅ ｏｆ 　 ｂｉ ｇ　ｄａｔａ” ［ ９］则通过主流媒体的宣传使普通民众开 始意识到大数据的存在，以及大数据对于人们日常 生活的影响． 大数据的火热并不意味着对于大数据的了解深 入，反而表明大数据存在过度炒作的危险．大数据的 基本概念、关键技术以及对其利用上均存在很多的 疑问和争议．本文从大数据问题背后的本质出发，对 现有的大数据研究资料进行全面的归纳和总结．首 先简要介绍大数据的基本概念，阐述其同传统数据 库的区别．在此基础上，对大数据处理框架进行详细 解析．我们认为大数据的发展离不开云计算技术，云 计算支撑着大数据存储、管理以及数据分析等．因此