云计算综述之一——GFS,Bigtable,Mapreduce技术课件.pptxVIP

云计算综述 2013.10.21 云计算研究现状综述 李乔、郑啸《Computer Science》 2011 云计算及其关键技术 陈全等《计算机应用》 2009 Cloud Computing Security Threats and Responses ICCSN, IEEE 3rd International Conference 2011 文献： 1.云计算研究现状综述 1.什么是云计算 1 ) 云计算将IT相关的能力以服务的方式提供给用户, 允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下, 通过Internet 获取需要的服务。——维基百科 2 ) 云计算是分布式计算分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展, 或者说是这些科学概念的商业实现。 ——中国云计算网 3 ) 文章定义: 云计算是由网格计算发展而来的, 前台采用按时付费的方式通过Internet向用户提供服务。云系统后台由大量的集群使用虚拟机的方 式, 通过网络互连, 组成大型的虚拟资源池。这些虚拟资源可自主管理和配置。用数据冗余的方式保证虚拟资源的高可靠性。并具有分布式存储和计算、 高扩展性、高可用性等特征。 　图1 云计算架构图 部署角度：私有云、社区云、公共云和混合云。 私有云被一个组织管理操作 社区云由多个组织共同管理操作具有一致的任务调度和安全策略 公共云由一个组织管理维护提供对外的云服务可以被公众所拥有。 服务角度： 基础设施Iaas、 平台即服务Paas、 软件即服务Saas 代表性的云服务 Iaas：管理硬件资源的软件服务，通过他可以租用硬件Paas：管理软件资源的服务，通过他可以开发、管理软件服务Saas：应用软件服务，用户可以直接租用服务 图2 几种云服务比较 2.云计算的关键技术 数据存储技术——以GFS为例 数据管理技术——以BigTable为例 编程模型——以Map-Reduce为例 2.1 数据存储技术——以GFS为例 GFS系统由1个Master和大量块服务器（Chunk）构成。Master存放文件系统的所有元数据（名字空 间、存取控制、文件分块信息、文件块的位置信息等）。 GFS 中文件默认切分为 64MB的块存储。 可靠性：冗余存储。每份数据在系统中保存 3 个以上的备份 , 对于数据的所有修改需要在所有的备份上进行, 并用版本号的方式来确保所有备份处于一致的状态。 客户端不通过 Master 读取数据, 避免了大量 读操作使Master成为系统瓶颈。客户端从Master 获取目标数据块的位置信息后, 直接和块服务器交互进行读操作。 GFS的写操作将写操作控制信号和数据流分开。 即客户端在获取Master的写授权后, 将数据传输给所有的数据副本, 在所有副本都收到修改的数据后, 客户端才发出写请求控制信号。在所 有副本更新完数据后,由主副本向客户端发出写操作完成控制信号。 图3 写控制信号和写数据流 文件名，chunk索引 Chunk句柄、位置 2.2 数据管理技术——以BigTable为例 Bigtable是一个键值（key-value）映射。 Bigtable的键有三维，分别是行键（row key）、列键（column key）和时间戳（timestamp），行键和列键都是字节串，时间戳是64位整型；而值是一个字节串。  (row:string, column:string,time:int64)→string 图5 BigTable采用类似B+树三级层次化的方式来存储位置信息 图4 bigTable结构图 此文件属于Chubby服务的一部分，它保存着root tablet的位置，以保证主服务器唯一。 为了保证树的深度不变，root tablet从不分裂。 元数据片，它和root tablet一起组成完整的元数据表。每个元数据片都包含了许多用户片的位置信息。 2.3 编程模型——以Map-Reduce为例 编写Map-Reduce程序，一般需要实现两个函数：mapper中的map函数和reducer中的reduce; map: (in_key,in_value)  → {(keyj,valuej)|j=1····k} reduce: (key,[value1, ···valuem])   →(key,final_value） //已归并   Map - Reduce模型具有很强的容错性, 当worker节点出现错误时, 只需要将该worker节点屏蔽在系统外等待修复, 并将该worker上执行的程序迁移到其他worker上重新