大数据时代简析.docVIP

大数据时代简析 杨雪萍 （华中师范大学 信息管理学院 湖北 武汉 430079） 【摘要】 随着全球信息量的爆炸式增长，“大数据”成为近几年的热点研究对象，本文将基于已有研究文献，并加之最新研究进展、应用成果，从“大数据”的概念、大数据的分析方法、大数据已应用的成功案例、大数据的挑战与展望等多方面进行全面的深入探讨。 【关键词】大数据；关系数据管理技术；MapReduce技术；HDFS； 引言 1.1大数据产生背景 在科学研究、计算机仿真、互联网应用、电子商务等诸多应用领域，数据量正在以极快的速度增长，数据爆炸发生在可以想到的所有设备、应用程序及个体的各个层级上。根据Gartner公司的研究，全球信息量每年的最低增长率为59%，其中有15%是结构化数据，其余的则由复杂的数据类型组成。最近的一份报告显示，大数据将带动2012年全球280亿美元的IT支出，到2016年这个数字将超过2300亿美元，2300亿美元几乎是葡萄牙全年的国内生产总值。并且根据预测，数据量在未来10年内会增长44倍，但与此同时IT专职人员的数量仅会增长1.4倍。与此同时，在数据呈爆炸性增长的趋势下，IT还不得不承受节约相关资源及预算的重大压力。整个网络体系架构将面临革命性改变。最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。 大规模数据主要有以下几个主要来源【1】：（1）传感器数据(sensor data):分布在不同地理位置上的传感器,对所处环境进行感知,不断生成数据。即便对这些数据进行过滤,仅保留部分有效数据,长时间累积的数据量也是非常惊人的;(2) 网站点击流数据(click stream data):为了进行有效的市场营销和推广,用户在网上的每个点击及其时间都被记录下来;利用这些数据,服务提供商可以对用户存取模式进行仔细的分析,从而提供更加具有针对性的服务;(3) 移动设备数据(mobile device data):通过移动电子设备包括移动电话和PDA、导航设备等,我们可以获得设备和人员的位置、移动、用户行为等信息,对这些信息进行及时的分析,可以帮助我们进行有效的决策,比如交通监控和疏导系统;(4) 射频ID 数据(RFID data):RFID 可以嵌入到产品中,实现物体的跟踪。一旦RFID 得到广泛的应用,将是大量数据的主要来源之一。 大数据概念 维基百科、数据科学家以及一些研究机构和相关厂商，均提出过大数据的概念，虽未形成统一的定义，但是通过分析不同概念发现，它们之间都存在一个共识，即：大数据的关键是在种类繁多数量庞大的数据中，快速获取信息。大数据主要有以下四个特征（4V）。 容量大（Volume Big）。数据量已经从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。 多样性（Variable Type）。数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。 生成速度快（Velocity Fast）。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可介入。 价值高（Value High）。以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；3600全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。 2 大数据分析技术 随着数据生成的自动化以及数据生成速度的加快，需要处理的数据量急剧膨胀，为了从数据中发现知识并加以利用，指导人们的决策，必须对数据进行深入的分析，而不仅仅是形成报表。下面介绍三种主要的大数据分析技术关系数据管理技术（RDBMS）、MapReduce技术以及关系数据管理技术和MapReduce的混合架构。 2.1 关系数据管理技术 关系数据管理技术（并行数据库）起源于20世纪80年代，经过了将近40年的发展，成为了一门成熟的、同时仍在不断演进的分析技术。关系数据管理技术的主流应用包括OLTP 应用、OLAP 应用以及数据仓库等。SQL 语言作为存取关系数据库系统的语言得到了标准化,经过不断扩充，其功能和表达能力不断增强。其主要采用shared-nothing结构【1】，将关系表在节点间横向划分，并且利用优化器对执行过程进行调度和管理，其目标是高性能和高可用性。 2.1.1 关系数据管理技术的优势 并行数据库的最大优势在于性能【2】。 这主要得益于数据库界近几十年的研究成果——许多先进的技术手段及算法, 如索引、数据压缩、物化视图、结果缓冲、I / O 共享、优化的数据连接等。但是在大数据时代, 如前言所述, 数据移动的实现方式将影响其性能。 并行数据库通过SQL 向外提供数据访问服务,SQ L 因其简单易用的特点而被广泛使用。因此, 大多BI 工具都支持基于标准SQL