谷歌与IBM的云计算架构.ppt

陈华杰 chenhj@ 云计算架构 大纲 云计算定义 云计算所使用的技术 Google的云计算平台与应用 分布式文件系统( Google File System ) MapReduce编程模式 分布式锁机制Chubby 分布式数据库BigTable IBM蓝云计算平台 虚拟机的使用 存储结构 云计算定义 一种计算模式：把IT资源、数据、应用作为服务通过网络提供给用户（IBM） 一种基础架构管理方法论：把大量的高度虚拟化的资源管理起来，组成一个大的资源池，用来统一提供服务（IBM） 以公开的标准和服务为基础，以互联网为中心，提供安全 、快速、便捷的数据存储和网络计算服务（Google） 实例图 云计算所使用的技术 虚拟化技术：资源虚拟化、统一分配监测资源、向资源池中添加资源 服务思想 软件即服务( Software-as-a-Service ) 平台即服务( Platform-as-a-Service ) 基础设施作为服务( Infrastructure as a Service ) Google的云计算平台 Google云计算概述 为Google特定的网络应用定制的。基于分布式并行集群方式基础架构利用软件方式处理集群中经常发生的节点失效问题 Google云计算基础架构模式 分布式文件系统( Google File System ) MapReduce编程模式 分布式锁机制Chubby 分布式数据库BigTable Google File System文件系统 特点 系统集成了容错以及自动恢复功能 文件以G字节计，包含大量小文件 添加文件追加操作，优化顺序读写速度 部分具体操作不透明,需要应用程序的协助完成 Google File System的系统架构图 MapReduce编程模式 统计文本中单词数目 Map函数 将文本中所有出现的单词都按照出现计数1(以Key-Value对的形式)发射到MapReduce给出的一个中间临时空间中 Reduce函数 把计数累加在一起获得最后结果 MapReduce编程模式 cont. MapReduce处理程序的执行过程(M代表Map函数的执行,R代表Reduce函数的执行) 分布式数据库BigTable BigTable的数据模型 行列以及相应的时间戳 按行来划分，将多行组成一个小表，存放到服务器节点 Google BigTable的数据模型 分布式数据库BigTable cont. BigTable系统的组织结构 IBM“蓝云”计算平台 “深蓝”计算平台概述 深蓝计算平台建立在IBM在领先的大规模计算领域的专业技术上，将基于由IBM软件、系统技术和服务支持的开放标准和开源软件 平台特点 虚拟机的使用 存储结构 运营模式 虚拟服务器 + 操作系统 + 网络带宽 + 应用 (包括软件及服务) 虚拟机的使用 应用1 应用2 应用3 p系列资源池 x系列资源池 应用1 应用2 应用3 虚拟机1 虚拟机2 虚拟机3 虚拟机1 虚拟机2 虚拟机1 虚拟机2 虚拟机3 蓝云云计算模式 现有模式 应用资源分配 从统一资源池中分配虚拟资源给应用 购置服务器，为每个应用单独部署服务器 应用运行环境 虚拟化环境 物理机 应用扩展 从资源池中为应用增加资源 为应用购置新的服务器 应用监控 应用采用统一监控系统 为每个应用部署一套监控系统 OS，应用部署与升级 通过自服务界面自动化完成 手动进行 资源使用率 高 低 “蓝云”中的存储结构 云计算的存储体系结构 Hadoop HDFS （Hadoop Distributed File System） 基于块设备方式的存储区域网络SAN Hadoop 类似于Google文件系统的开源实现，开源软件 SAN 在存储端构建存储的网络，将多个存储设备构成一个存储区域网络，前端以网络的方式访问后端存储设备，前端以块设备方式访问与前端操作系统无关 SAN系统 SAN系统概述 连接方式 使用光纤网络，满足性能与可靠性较高的场所 以太网，普通的局域网，节省成本 特点 主机来说可以访问多个磁盘设备，从而能够获得性能的提升 使用虚拟化的引擎来进行逻辑设备到物理设备的映射，管理前端主机到后端数据的读写 谢谢！ * 虚拟化技术：将资源虚拟化，从统一资源池中分配资源给应用，对所有应用采用统一的监控系统。添加资源时不同，向资源池中添加资源，为没用应用添加资源。 * * 图2给出了Google File System的系统架构.如图2所示,一个GFS集群包含一个主服务器和多个块服务器,被多个客户端访问.大文件被分割成固定尺寸的块,块服务器把块作为Linux文件保存在本地硬盘上,并根据指定的块句柄