大数据研究综述_涂新莉..docxVIP

第 31 卷第 6 期计 算 机 应 用 研 究Vol. 31 No. 62014 年 6 月Application Ｒesearch of ComputersJun． 2014大数据研究综述*涂新莉1 ，刘波1 ，林伟伟21．华南师范大学 计算机学院，广州 510631; 2．华南理工大学 计算机科学与工程学院，广州 510640)要: 主要从大数据的概念着手，对比分析了国内外大数据研究和应用现状，重点分析比较当前大数据主流 处理工具的优缺点，并深入归纳总结了基于数据存储的大数据处理技术、基于数据挖掘的大数据处理技术、基于 查询的大数据处理技术的优缺点和适用场景。最后，在前面比较和分析的基础上给出了大数据研究和发展的方 向，为大数据的研究提供有益参考。关键词: 大数据; 数据处理; 数据挖掘中图分类号: TP311文献标志码: A文章编号: 1001-3695( 2014) 06-1612-05doi: 10． 3969 / j． issn． 1001-3695． 2014． 06． 003Survey of big dataTU Xin-li1 ，LIU Bo1 ，LIN Wei-wei2( 1． School of Computer，South China Normal University，Guangzhou 510631，China; 2． School of Computer，Science ＆ Engineering，SouthChina University of Technology，Guangzhou 510640，China)Abstract:This paper mainly compared and analyzed the research and application status of big data home and abroad，fromthe concept of big data，laying special stress on analyzing and comparing current main processing tools of big data，focusing on advantages and disadvantages，summarizing the advantages，disadvantages and applicable scenario of big data processing tech-niques，which were based on data storage，data mining and queries． Finally，it presented important directions of research and development of big data for future，providing reference for big data research．Key words:big data;data processing;data mining提及大数据几乎是无人不晓，但大数据这个概念并不是近几年才有的，早在 1980 年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。在 20 世纪 80 年代我国已经有一些专家学者谈到了海量数据的加工和管理，但是由于计算机技术和网络技术的限制大数据未能引起足够的重视，它蕴藏的巨大信息资源也暂时隐藏了起来。随着云计算技术的发展，互联网的应用越来越广泛，以微博和博客为代表的新型社交网络的出现和快速发展，以及以智能手机、平板电脑为代表的新型移动设备的出现，计算机应用产生的数据量呈现了爆炸性增长的趋势。2012 年末出版的《大数据时代》的作者英国牛津大学网络学院互联网研究所治理与监管专业教授维克托·尔耶·舍恩伯格在书的 引言中说，大数据正在改变人们的生活以及理解世界的方式，而更多的改变正蓄势待发。美国总统奥巴马的成功竞选及连任的背后都有大数据挖掘的支撑，美国政府认为，大数据是“未来的新石油”，并将对大数据的研究上升为国家意志，这对［1］，未来的科技与经济发展必将带来深远影响。如今 大数据已成为一项业务上优先考虑的工作任务，因为它能够对全球整合经济时代的商务产生深远的影响。大数据的应用范围如此广泛，与大数据相关的很多问题都引起了专家和学者的重视。大数据最基本的问题———大数据的定义目前还没有一个统一的定论，但大数据作为一种基础性资源需要被处理才能显现其潜在的价值，那么如何更好地处理大数据这种基础性资源就显得特别重要，因为这些问题都关系到大数据核心价值的体现。为此，本文从大数据若干个版本的概念出发，调查分析了大数据的研究和应用现状，重点分析