大数据管理：概念、技术和挑战.pdfVIP

大数据管理：概念、技术与挑战 孟小峰 慈祥 ( 中国人民大学信息学院 北京 100872) Big Data Management: Concepts, Techniques and Challenges Meng Xiaofeng and Ci Xiang (School of Information, Renmin University of China, Beijing 100872) Abstract: Data type and amount in human society is growing in amazing speed which caused by emerging new service such as cloud computing, internet of things and social network, the era of Big Data has come. Data has been fundamental resource from simple dealing object, and how to manage and utilize big data better has attracted much attention. Evolution or revolution on database research for big data is a problem. This paper discusses the concept of big data, and surveys its state of the art. The framework of big data is described and key techniques are studied. Finally some new challenges in the future are summarized. Keywords Big Data; Data Analysis; Cloud Computing 摘要 云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有 的速度增长，大数据时代正式到来。数据从简单的处理对象开始转变为一种基础性资源，如 何更好的管理和利用大数据已经成为普遍关注的话题。大数据的规模效应给数据存储、管理 以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。本文对大数据的 基本概念进行剖析，并对大数据的主要应用做简单对比。在此基础上，阐述大数据处理的基 本框架，并就云计算技术对于大数据时代数据管理所产生的作用进行分析。最后归纳总结大 数据时代所面临的新挑战。 关键字 大数据；数据分析；云计算 中图法分类号 TP311 1、引言、引言 、、引言引言 随着以博客、社交网络、基于位置的服务LBS 为代表的新型信息发布方式的不断涌现， 以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断的增长和累积，大数据 时代已经来到。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产 生浓厚的兴趣。就学术界而言，Nature 早在 2008 年就推出了 Big Data 专刊[1] 。计算社区联 盟(Computing Community Consortium)在 2008 年发表了报告 《BigData Computing: Creating [2] revolutionary breakthroughs in commerce, science, and society》 ，阐述了在数据驱动的研究背 景下，解决大数据问题所需的技术以及面临的一些挑战。Science 在 2011 年 2 月推出专刊 [3] 《Dealing with Data》 ，主要围绕着科学研究中大数据的问题展开讨论，说明大数据对于 科学研究的重要性。美国一些知名的数据管理领域的专家学者则从专业的研究角度出发，联 [4] 合发布了一份白皮书 《Chall