.大数据关键技术.docVIP

大数据关键技术 摘要：结合大数据系统的一般结构，介绍和对比了当前大数据领域在文件存储、数据处理和数据库领域的关键技术。通过各种技术的对比，得到了一些分析结果。分析结果表明大数据系统的解决方案必将落地于现有的云计算平台；云计算平台的分布式文件系统、分布式运算模式和分布式数据库管理技术是解决大数据问题的基础；一些大的依靠数据盈利的大公司必然会是大数据应用的主体。? 关键词：大数据；分布式文件系统；分布式数据库；MapReduce技术21世纪，世界已经进入数据大爆炸的时代，大数据时代已经来临。从商业公司内部的各种管理和运营数据，到个人移动终端与消费电子产品的社会化数据，再到互联网产生的海量信息数据等，每天世界上产生的信息量正在飞速增长。2009年数据信息量达到8000亿GB，而到2011年达到1.8ZB[1]。图灵奖获得者JimGray提出的“新摩尔定律”：“每18个月全球新增信息量是计算机有史以来全部信息量的总和”，已经得到验证。?大数据的“大”不仅仅体现在数据的海量性，还在于其数据类型的复杂性。随着报表、账单、影像、办公文档等在商业公司中得到普遍使用，互联网上视频、音乐、网络游戏不断发展，越来越多的非结构化数据进一步推动数字宇宙爆炸。数据海量而复杂，这是对大数据的诠释。与传统的数据相比，大数据具有规模性（Volume）、多样性（Variety）、高速性（Velocity）和低价值密度（Value）的4V特点[2]。规模性和高速性是数据处理一直以来研究和探讨的问题，多样性和价值密度低是当前数据处理发展中不断显现出来的问题，而且在可以预见的未来，随着智慧城市、智慧地球等各种新设想的不断成为现实，上面的4中问题将会变得更加凸显，而且是不得不面对的问题。?数据的产生经历了被动、主动和自动3个阶段[3]。大数据的迅猛发展是信息时代数字设备计算能力和部署数量指数增长的必然结果。解决大数据研究中的问题，必须要从大数据的产生背景进行研究。大数据的产生源于规模效应，这种规模效应给数据的存储、管理以及数据的分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。大数据的规模效应要求其存储、运算方案也应当从规模效应上进行考虑。传统的单纯依靠单设备处理能力纵向发展的技术早已经不能满足大数据存储和处理需求。以Google等为代表的一些大的数据处理公司通过横向的分布式文件存储、分布式数据处理和分布式的数据分析技术很好的解决了由于数据爆炸所产生的各种问题。? 1 大数据关键技术?　　1.1 大数据系统的架构?　　大数据处理系统不管结构如何复杂，采用的技术千差万别，但是总体上总可以分为以下的几个重要部分。大数据系统结构如图1所示。?　　从数据处理的一般流程可以看到，在大数据环境下需要的关键技术主要针对海量数据的存储和海量数据的运算。传统的关系数据库经过近40年的发展已经成为了一门成熟同时仍在不断演进的数据管理和分析技术，结构化查询语言（SQL）作为存取关系数据库的语言得到了标准化，其功能和表达能力也得到的不断增强。但是，关系数据管理系统的扩展性在互联网环境下遇到了前所未有的障碍，不能胜任大数据分析的要求。关系数据管理模型追求的是高度的一致性和正确性。纵向扩展系统，通过增加或者更换CPU、内存、硬盘以扩展单个节点的能力，终会遇到“瓶颈”。?　　大数据的研究主要来源于依靠数据获取商业利益的大公司。Google公司作为全球最大的信息检索公司，其走在了大数据研究的前沿。面对呈现爆炸式增加的因特网信息，仅仅依靠提高服务器性能已经远远不能满足业务的需求。如果将各种大数据应用比作“汽车”，支撑起这些“汽车”运行的“高速公路”就是云计算。正是云计算技术在数据存储、管理与分析等方面的支持，才使得大数据有用武之地。Google公司从横向进行扩展，通过采用廉价的计算机节点集群，改写软件，使之能够在集群上并行执行，解决海量数据的存储和检索功能。2006年Google首先提出云计算的概念。支撑Google公司各种大数据应用的关键正是其自行研发的一系列云计算技术和工具。Google公司大数据处理的三大关键技术为：Google文件系统GFS[4]、MapReduce[5]和Bigtable[6]。Google的技术方案为其他的公司提供了一个很好的参考方案，各大公司纷纷提出了自己的大数据处理平台，采用的技术也都大同小异。下面将从支持大数据系统所需要的分布式文件系统、分布式数据处理技术、分布式数据库系统和开源的大数据系统Hadoop等方面介绍大数据系统的关键技术。 1.2 分布式文件系统?文件系统是支持大数据应用的基础。Google是有史以来唯一需要处理如此海量数据的大公司。对于Google而言，现有的方案已经难以满足其如此大的数据量的存储，为此Google提出了一种分布式的文件管