云计算的研究.pptVIP

云计算调研 云计算 云计算概述 云计算的定义 云计算的特征 云计算的分类和应用 云计算的现有研究方向 云是大量易用并可存取的虚拟资源（比如硬盘、平台和服务）的组合。 这些资源可以动态重配并不断优化调整，以适应不同的负载。 这个资源组合通过按次计费的形式开发配置提供服务，并通过基础框架提供商根据定制的服务层协议进行维护。 云最小化的定义可以用下列特征集合说明： 可扩展性 按次计费的通用程序模型 虚拟化 Vaquero, L. M., Rodero-Merino, L., Caceres, J., and Lindner, M. 2008. A break in the clouds: towards a cloud definition. SIGCOMM Comput. Commun. Rev. 39, 1 (Dec. 2008), 50-55. 什么是云？ 以互联网为中心 云计算的存储和计算能力分布在网络中的各个节点上 虚拟化 底层的硬件，包括：服务器，存储器和网络设备，被全部虚拟化，建立起一个共享的可以按需分配的基础资源池 动态扩展 底层的资源可以随分配和需求自动增长 上层的数据和应用可以根据业务形态的不同需求，搭配出各种相互隔离的应用 可运营的业务支撑体系 包括：容量规划，计费，监控，安全，可扩展，可升级等 云计算的特征 网格的定义： 网格是由同等的、不受集中式控制的资源构成的系统，通过使用标准的、开源的、通用协议和界面，提供高质量的服务。 云计算和网格计算的相似之处 都是由异构的资源组成 都具有良好的可扩展性 对用户来说，都是接入透明的 都是为了降低计算消耗而设计 都是通过使用第三方运行的硬件增强灵活性和可靠性 网格计算 云计算和网格计算的不同之处 云计算 网格计算 分配的资源不会被共享 硬件和软件平台的虚拟化 用户选择基础结构 根据用户特定的软件定制运行环境 集中控制 是用户友好的 缺乏标准化 推动者主要为信息提供商 代码部分开源 强调共享和协作 数据和计算资源的虚拟化 服务决定基础结构 用户的软件必须适应网格提供的平台 分布式控制 难以入手和管理 标准化，可互操作 推动者主要为学术机构 代码完全开源 云计算的分类和应用 云计算现有的研究方向 现有的云计算模型 Google File System（GFS） Sector/Sphere模型 RESERVOIR工程 基本假设 基本结构和操作 元数据 主机的基本操作 文件更新 快照操作 Ghemawat, S., Gobioff, H., and Leung, S. 2003. The Google file system. SIGOPS Oper. Syst. Rev. 37, 5 (Dec. 2003), 29-43. Google File System（GFS） 系统构建在大量便宜的普通组件之上，这些组件经常出故障。它必须时常自我监控和检测、容错、能迅速从组件故障中恢复。 系统存储了大量的大文件。 工作负载主要有两类读操作产生：大规模数据流读取，小规模随机读取。 工作负载也包括许多大规模顺序的写操作，向文件追加数据。典型的操作大小和读操作类似。 系统必须能够有效地支持多用户并发的相同一文件追加数据的操作。 最大限度的利用带宽比保证低延迟更重要。 GFS的基本假设 GFS的基本结构和操作 GFS基本结构包括： 一台主机 （GFS master） 多个块服务器 （GFS chunkserver） 大量用户 （GFS client） GFS中的数据分块： 每个分块大小为64M，每个分块对应一个64bit的句柄 每个分块分割成多个大小为64KB的子块，每个子块有一个大小为32bit的校验和 每个块会保持三个副本 GFS中文件的基本操作包括：创建、删除、打开、关闭、读、写、快照和追加。 GFS中的数据通信包括两类：控制流和数据流 控制流会在用户↔主站↔块服务器三者之间传输 数据流仅在用户↔块服务器之间传输，而不会通过主机 块服务器之间通过构成流水线型结构传递数据流，并通过计算距离和即时转发降低延迟 GFS基本结构示意图 主机中存储的数据称为元数据 存储于主机的内存中 包括三类： 文件和块命名空间 文件↔块之间的映射 每个块的副本定位 其中：前两类数据会作为操作日志复制到其他机器上；最后一类数据不会被备份，而是在有新的块服务器加入时主机主动询问获得，主机↔块服务器之间通过定期的心跳协议不断更新这类数据 元数据 命名空间管理和锁机制 在保证适当串行化的基础上允许多操作 副本分布 最大化数据的可靠性和可用性，最大化的利用网络带宽 块创建，再复制，再平衡 考虑的因素主要包括：每个块服务器的硬盘利用率、最近新创建的块数量，以及机架的影响 垃圾收集 文件删除后并不立刻释放空间而是重命名