大数据-信息检索论文.docVIP

大 数 据 的概念、技术与挑战 学 院： 计算机与电子信息学院 专业名称： 计算机科学与技术 学 号： 姓 名： 指导教师： 时 间： 2013年11月  大数据的概念、技术与挑战 XXX （广西大学 计算机与电子信息学院，广西 南宁 530004） 【摘要】计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来．数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用大数据已经成为普遍关注的话题．大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生．对大数据的基本概念进行剖析，并对大数据的主要应用作简单对比．在此基础上，阐述大数据处理的基本框架，并就云计算技术对于大数据时代数据管理所产生的作用进行分析．最后归纳总结大数据时代所面临的新挑战． 【Abstract】 Data type and amount in human society is growing in amazing speed which is caused by emerging new services such as cloud computing，internet of things and social network，the era of big data has come． Data has been fundamental resource from simple dealing object，and how to manage and utilize big data better has attracted much attention． Evolution or revolution on database research for big data is a problem．This paper discusses the concept of big data，and surveys its state of the art． The framework of big data is described and key techniques are studied． Finally some new challenges in the future are summarized． 【关键词】大数据，技术，挑战，数据分析，云计算 【key words】big data;technology;Challenge;data analysis;cloud computing 近年来，伴随着物联网、云计算、移动互联网等新技术的迅猛发展，数据正以前所未有的速度不断增长和积累，大数据时代已经到来，这引起了产业界 学术界 科技界和政府机构的广泛关注。 大数据的火热并不意味着对于大数据的了解深入，反而表明大数据存在过度炒作的危险．大数据的基本概念、关键技术以及对其利用上均存在很多的疑问和争议【1】。 大数据的基本概念及大数据时代产生的必然 早在1980年，美国著名未来学家阿尔温托夫勒( AlvinToffler) 在 第三次浪潮 一书中就提出了 大数据 ( BigData) 的概念，并将其赞颂为 第三次浪潮的华彩乐章［2］著名的数据库专家 图灵奖获得者吉姆 格雷( JimGray) 认为传统的实验 理论和计算机3大范式在科学研究，特别是一些新的研究领域已经无法很好地发挥作用，于是，其在2007年提出当前科学研究已发展到了 第4种范式( The FourthParadigm)［3］，即以大数据为代表的数据密集型科学近几年，一些国际顶级学术刊物也相继出版专刊对大数据进行探讨研究 2008 年9 月，Nature推出了 Big Data 专刊［4］，从互联网技术环境科学 生物医药等多个方面介绍了海量数据带来的挑战 2011年2月，Science出版关于数据处理的专刊 Dealing with data［5］，讨论了数据洪流( Data Deluge) 所带来的挑战，并阐明了大数据对于科学研究的重要性 2012年4月，欧洲信息学与数学研究协会会刊ERCIM News出版专刊 Big Data［6］，讨论了有关大数据时代的数据管理 数据密集型研究的创新技术等问题，并介绍了欧洲科研机构开展的研究活动和进展情况最早提出大数据时代已经到来的是全球知名咨 询 公 司 麦 肯 锡，其下属机构全球研究所( Mckinsey Global Institute) 于2