云计算的数据管理.docx

PAGE 1 PAGE 1 云计算的数据管理  云计算技术是以互联网技术作为主要技术手段，为用户供应计算资源访问云计算能够分布式存储和处理海量数据，从而便利人们根据自己的需求准时的获取相应的服务伴随着云计算技术的发展，云计算己经成为一种全新的互联网应用模式。  　　数据的快速增长导致用户对计算机计算能力的需求越来越高。云计算在提高平凡计算机快速处理能力上起到了很大的作用。云计算能够对平凡用户使用计算机的模式进行转变，从而给用户供应按需安排的存储能力、计算能力以及应用服务能力等，给用户带来更多的便利，也在很大程度上降低了用户对软件和硬件选购的费用。但是，云计算需要各种技术手段作为支持，其中包括分布式的储存方式、计算数据的管理以及数据同步运算等等。  　　1、云计算技术  　　云计算是一种基于网络的新的计算方式。云计算的核心思想可以追溯到上世纪60年月。利用云计算和计算机的共享软件和硬件资源能够满意对不同计算机和其他设备供应信息的需求。云计算是分布式处理、网络计算和并行处理的发展，被誉为计算机科学概念的商业实现。云计算可以包括以下几个层次的服务：基础设施即服务、平台即服务和软件即服务。  　　由于云计算基于的都是一些成熟的技术，很快得到了IT业界众多大厂商的大力推广和支持，在近些年来呈现很好的发展趋势，从而也凸显出云计算的很多特征。首先，云计算具有很高的性价比，其利用特别好的容错处理涉及，使得现有的珍贵的专用服务器被廉价的个人电脑代替，并且在计算能力上有很大的提高。这样既削减了硬件投入的成本，同时软件维护和数据管理成本也得到有效的降低。其次，云计算具有动态可扩展性，因为云具有可以敏捷进行动态扩张或收缩的规模，服务器能够在任何时刻增加或移除服务器集群中。再次，云计算具有虚拟化的特点。云计算对于软件和硬件资源实行虚拟化管理，用户能够不限时间，不限地点的访问云上的服务和数据，甚至是轻易的完成超级计算任务。最终，敏捷定制也是云计算的一个重要特征。因为云是一个特别巨大的资源站，为用户能够供应极大的计算能力和存储能力，用户可以依据自身需要选择相应的数据资源和服务资源。  　　2、云数据管理技术  　　2.1Dynamo技术  　　Dynamo技术能够在不暴露于外网的前提下直接供应底层支持和AWS，因为它不仅具有存储系统的分布式、数据库和高可用行，还具有转悠存储系统的键值结构、Hash表分布式。Dynamo的基本储存架构和理念是DHT，其最大的特点就是能够匀称地存储数据，各存储点之间有相互感应的能力，因此它的自我管理性能特殊强，不需要Master主控点的掌握，同时单点故障的危急也比较低。亚马逊平台的基础存储架构就是Dynamo技术，并且应用于亚马逊的许多系统当中。Dynamo技术利用的是DHT的数据储存方式，因此没有热点，这样，各点的数据存储量和访问压力就呈现出负载均衡的优势。  　　2.2MapReduce技术  　　MapReduce技术是谷歌设计的一种编程模式，适合应用在大规模数据集的并行处理当中，一般要求大于1TB云计算MapReduce的编程模式能够有效的利用云计算的资源。MapReduce是一种新型的编程模式，能够将全部针对海量异构数据的操作抽象为map(映射)和reduce(化简)两种操作。Map能够根据是否能够在单个节点上完成运算的标准将任务分解成若干个子任务，再安排给不同的计算机进行处理。然后Reduce再根据软件的程序设定对Map作用的结果集进行合成处理，得到最终的分析处理结论。除此之外，MapReduce向各节点安排map和reduce任务时，会考虑数据的本地性，将相应支配到参与数据的存放节点或四周节点去执行。  　　2.3GFS技术  　　GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS整个系统的节点分为客户端、主服务器和数据块服务器三个角色。客户端是GFS供应给应用程序的访问接口，是一组不遵守POSIX规范的专用接口，以库文件的形式供应。GFS的管理节点是主服务器，在规律上仅存在一个，是GFS文件系统中的大脑，负责整个文件系统的管理。数据块服务器中是以文件的形式存储的数据，其个数可以有很多个，直接打算了GFS的规模。GFS数据以默认64MB的固定数据块为单位进行存储，并且分布在不同的数据块服务上。  　　2.4BigTable技术  　　BigTable技术是谷歌建立在GFS和MapReduce之上的一个大型分布式数据库，其形式实际是一个浩大的表，其规模超过1PB，能够将全部数据作为处理对象，从而形成一个巨大的表格。同时，BigTable还是一种拥有数据