大数据应用技术体系和潜在问题.docVIP

大数据应用技术体系和潜在问题 　　摘要：大数据处理流程包括：数据获取、数据集成、数据分析和解释3个阶段。大数据应用的技术和系统包括：云计算及其编程模型MapReduce、大数据获取技术、面向大数据处理的文件系统、数据库系统、大数据分析技术。大数据应用所面临的问题包括：人力和财力问题、安全和隐私问题、生态环境和产业链的变革问题。 关键词：大数据；云计算；MapReduce技术 Abstract： There are three steps in processing big data： data acquisition， data integration， data analysis and interpretation. In these steps， cloud computing， MapReduce， data acquisition techniques， data processing systems， database systems， and data analysis techniques may be used. In big-data applications， there are human and financial issues， security and privacy issues， environment and industrial chain issues， and transformation issues. Key words： big data； cloud computing； MapReduce 中图分类号：TN915.03； TP393.03 文献标志码：A 文章编号：1009-6868 （2013） 04-0008-009 随着智能手机等移动设备的普及以及无线网与Web2.0接口技术等方面的发展，网络用户的数量正迅猛增长，随之而来的是社交网络活动的日益频繁和数据服务需求的逐渐增多。据统计，2010年的手机用户已达40亿，占全球人口的60%，其中智能手机占了12%，用户年增长率达到了20%[1]。 众所周知，物联网近年来已成为普遍关注话题，实现物联网的宗旨就是让所有能被独立寻址的普通物理对象实现互联互通的网络，由此传感器与射频识别（RFID）等相关无线技术得到了迅速发展，调查显示，2011年已经有3 000多万的传感器节点遍布在交通运输业、工业以及零售业等场所，并且这个数值以每年30%的增长率提升中。而RFID由于其强大的无线传输和处理能力，也使得其遍布在各领域，用来实现清单管理的自动化[2]。这些传感器和RFID无时无刻不产生着大量的数据。具体地，谷歌在2008年的日均处理数据量已达20 PB；亚马逊在2010年11月29日这天的峰值交易数是158笔每秒；一架波音737飞机飞行6小时所产生的传感器数据达到240 TB[3]。IBM估计，每天由人类和机器产生的初始数据竟然达到了2.5×1 019字节[4]。这一切都为大数据时代的到来酝酿了潜在的应用需求。 面对大数据时代的到来，各国各组织都在积极着手准备应对策略。继Nature在2008年推出大数据专刊后[5]，2011年瑞士达沃斯世界经济论坛上，大数据成为重要主题，论坛中的一份“大数据，大影响”的报告指出了大数据如今已成为了像黄金和外汇一样的一种新型的经济资产。在美国，奥巴马政府于2012年3月公布了“大数据研究和发展的倡议”[6]，投资2亿多美元开启大数据研发计划；紧接着，中国在2012年5月召开的第424次香山科学会议，是中国第一个以大数据为主题的重大科学工作会议，随后中国计算机学会、通信学会也随即分别成立了大数据专家委员会；2013初，澳大利亚政府也在堪培拉的信息行业协会峰会上表示，将于5月出台大数据战略草案。上述学术与社会活动表明，大数据已然成为了学术界和工业界等各界关注的重要课题，并且已经悄然影响到当今人们的日常生活。 大数据时代的到来，挑战与机遇并存。当传统关系数据库管理技术由于自身的扩展性限制，已无法继续很好地适用于大数据处理的时候，云计算应运而生，并迅速成为热门话题，2004年谷歌提出的MapReduce作为面向大数据处理的计算模型[7]，更是倍受学术界和工业界的青睐。为此，本文首先对大数据的基本概念进行了阐述，讨论了大数据处理的流程、云计算和MapReduce等相关技术，然后分析了大数据带来的问题，最后总结全文并对大数据处理进行了展望。 1 大数据概述 1.1 大数据的定义 维基百科对大数据的定义是，所涉及的资料量的规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的各种资讯。 大数据