云计算的关键技术与挑战.ppt

系统交互：修改顺序 所有的chunk副本之间存在修改顺序 Master选取一个副本称为原始副本 原始副本选取之后连续的修改顺序副本 对于master来说最小化了管理的开销 系统交互：修改顺序 记录添加的原子操作 用户指定写入的数据，GFS选择并返回写入的偏移量，并将数据一次追加到每个副本的后面 Google分布式应用程序经常使用 不需要分布式锁管理器 GFS选择偏移量，不是用户 如何添加记录 与修改的过程类似 原始副本告诉第二个副本偏移位置（与原始副本一样）追加数据 如果某一副本在追加数据过程中发生故障，用户会重新尝试 相同chunk的副本可能包含不同的数据包括相同记录全部或部分的副本 GFS并不保证所有的副本的每位都相等 只能保证写入的数据是一次完成的 所有chunk副本必须写入相同偏移量的位置 副本位置 放置位置策略需考虑数据可靠性和网络带宽 副本不仅放置在不同的机器上，也放置在不同的rack上 写入操作影响到多个rack Chunk创建 由master创建和放置 放置在低于平均磁盘使用率的chunkserver上 在一个chunkserver上限制最近创建的数目 检测过期的数据 Master通过使用chunk版本号来区分现在和过期的数据 获取数据时增加版本号 当副本不再有效时，其版本不再增加 当chunkserver报告chunk及其版本的时候Master检测过期的副本 在垃圾收集的时候删除过期的副本 垃圾收集 当用户删除文件，master像其他操作一样写日志，并修改文件名设为隐藏文件 Master在3天内扫描文件系统命名空间的时候删除隐藏文件 元数据也会被擦除 在HeartBeat消息里，chunkservers发送给master所拥有的chunk，master发送给它没有元数据的文件，chunkserver之后在自己节点将文件删掉 容错性：高有效性 快速恢复 Master和chunkserver可以在数秒内重新启动 Chunk复制 Server复制 当原来的master发生故障后，“影子”master提供只读服务 Master上的所有副本都更改后才完成修改 容错性：数据完整性 Chunkserver使用校验和来检测错误数据 副本的每个位并不全部相同，因此chunkserver维护自己的校验和 每次读取，chunkserver在发送chunk的时候都会检验校验和 写入数据后会更新校验和 小结 云计算产生、发展、推广过程中的新技术 云计算的不足和面临的挑战 GFS中的主要技术 谢谢！ 云计算的关键技术与挑战 主要内容 云计算的关键技术 云计算的技术挑战 Google file System介绍 云计算的关键技术 云计算的技术挑战 Google file System介绍 云计算的关键技术 快速部署 资源调度 多租户 海量数据处理 大规模消息通信 大规模分布式存储 许可证管理和计费 云计算的关键技术快速部署 并行部署技术 将传统的顺序部署方式改为并行执行，同时执行多个部署任务，将虚拟机同时部署到多个物理及上 制约部署速度因素 部署服务器的读写能力或部署系统的有限网络带宽 协同部署技术 将虚拟机镜像在多个目标物理机之间的网络中传输，提高部署速度 制约部署速度因素 目标物理机之间的网络带宽总和 云计算的关键技术资源调度 资源调度 在特定的资源环境下，根据一定的资源使用规则，在不同的资源使用者之间进行资源调整的过程 两种途径 调整计算任务的资源使用量 转移计算任务 云计算的新挑战 海量规模 满足服务级别协定 云计算的关键技术多租户技术 多租户技术 大量用户共享同一堆栈的软、硬件资源，每个用户按需使用资源，能够对软件服务进行客户化配置而不影响其他用户的使用 采用多租户技术的SaaS应用特征 SaaS应用基于Web的 租户能够对SaaS平台本身进行扩展 技术难点 数据隔离、客户化配置、架构扩展、性能定制 云计算的关键技术海量数据处理 海量数据处理 对大规模数据的计算和分析，通常数据的规模可达TB甚至PB级别 典型例子 搜索引擎 并行计算模型 River编程模型 MapReduce编程模型 云计算的关键技术大规模消息通信 同步消息通信 异步消息通信 云计算中新的挑战 足够稳定 能够伸缩 保证安全 高效率 云计算的关键技术大规模分布式存储 大规模分布式存储技术 分布式文件系统 Franqupani Google File System 云存储服务 Amazon Simple Storage Service Google BigTable 云计算的关键技术许可证管理与计费 IT基础设施的许可证管理与计费模式 按需付费 按使用计费 大量提供商还未制定产品在云计算环境下的计费模式 较成熟的是Amazon提供的EC