大数据应用技术体系及潜在问题.pdfVIP

大数据应用的技术体系及潜在问题 Big Data: Technical Ecosystem and Problem Discovery 窦万春/DOU Wanchun 江澄/JIANG Cheng （南京大学 计算机科学与技术系，江苏 南京，210023 ） (Department of Computer Science and Technology, Nanjing University, Nanjing 210023, China) 中图分类号：TN915.03 ；TP393.03 文献标志码：A 文章编号：1009-6868 (2013) 04-0000-00 DOI: 10.3969/j.issn.1009-6868.2013.04.zzz 网络出版地址：/kcms/detail/34.1228.TN1215.002.html 收稿日期：2013-04-19 2013-06-27 12:15 网络出版时间：2013- 基金项目：国家科技重大专项（2011BAK21B06 ）；国家自然科学基金 ） 摘要： 大数据处理流程包括：数据获取、数据集成、数据分析和解释3 个阶段。大数据应用的技术 和系统包括：云计算及其编程模型 MapReduce、大数据获取技术、面向大数据处理的文件 系统、数据库系统、大数据分析技术。大数据应用所面临的问题包括：人力和财力问题、安 全和隐私问题、生态环境和产业链的变革问题。 关键词： 大数据；云计算；MapReduce 技术 Abstract: There are three steps in processing big data : data acquisition, data integration, data analysis and interpretation. In these steps, cloud computing, MapReduce, data acquisition techniques, data processing systems, database systems, and data analysis techniques may be used. In big-data applications, there are human and financial issues, security and privacy issues, environment and industrial chain issues, and transformation issues. Key words: big data; cloud computing; MapReduce technology 随着智能手机等移动设备的普及以及无线网与Web2.0 接口技术等方面的发展，网络用户的 数量正迅猛增长，随之而来的是社交网络活动的日益频繁和数据服务需求的逐渐增多。据统 计，2010 年的手机用户已达40 亿，占全球人口的60%，其中智能手机占了12%，用户年增 长率达到了20%[1] 。众所周知，物联网近年来已成为普遍关注话题，实现物联网的宗旨就是 让所有能被独立寻址的普通物理对象实现互联互通的网络，由此传感器与射频识别 （RFID ） 等相关无线技术得到了迅速发展，调查显示，2011 年已经有3 000 多万的传感器节点遍布在 交通运输业、工业以及零售业等场所，并且这个数值以每年30% 的增长率提升中。而RFID [2] 由于其强大的无线传输和处理能力，也使得其遍布在各领域，用来实现清单管理的自动化 。 这些传感器和RFID 无时无刻不产生着大量的数据。具体地，谷歌在2008 年的日均处理数 据量已达20 PB ；亚马逊在2010 年 11 月29 日这天的峰值交易数是158 笔每秒；一架波音 737 飞机飞行6 小时所产生的传感器数据达到240 TB[3] 。IBM 估计，每天由人类和机器产生 19 [4] 的初始数据竟达到了 2.5 ×10 字节 。这一切都为大数据时代的到来酝酿了潜在的应用需