大数据管理概念术与挑战.docVIP

大数据管理：概念、技术与挑战 孟小峰　　　慈　祥 （中国人民大学信息学院　北京　１００８７２） 摘　要　云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增 长，大数据时代正式到来．数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用 大数据已经成为普遍关注的话题．大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑 战，数据管理方式上的变革正在酝酿和发生．对大数据的基本概念进行剖析，并对大数据的主要应用作 简单对比．在此基础上，阐述大数据处理的基本框架，并就云计算技术对于大数据时代数据管理所产生 的作用进行分析．最后归纳总结大数据时代所面临的新挑战． 关键词　大数据；数据分析；云计算 中图法分类号　ＴＰ３１１ 　　随着以博客、社交网络、基于位置的服务ＬＢＳ 为代表的新型信息发布方式的不断涌现，以及云计 算、物联网等技术的兴起，数据正以前所未有的速度 在不断地增长和累积，大数据时代已经来到．学术 界、工业界甚至于政府机构都已经开始密切关注大 数据问题，并对其产生浓厚的兴趣．就学术界而言， 《 Ｎａｔｕｒｅ》早在２００８年就推出了Ｂｉ ｇ　Ｄａｔａ专刊［ １］．计 算社区联盟（Ｃｏｍｐｕｔｉｎｇ　Ｃｏｍｍｕｎｉｔ ｙ　Ｃｏｎｓｏｒｔｉｕｍ） 在２００８年发表了报告“Ｂｉ ｇ　ｄａｔａ 　 ｃｏｍｐｕｔｉｎｇ：Ｃｒｅａｔｉｎｇ ｒｅｖ