《云计算(第三版)》第2章_Google云计算原理与应用(一).pptVIP

第三个步骤 对于Map之后得到的中间结果，启动26个Reduce。 按照首字母将Map中不同桶中的字符串集合放置到相应的Reduce中进行处理。 * 2.2 分布式数据处理MapReduce 实践证明，MapReduce是出色的分布式计算模型 Google宣布，其对分布于1000台计算机上的1TB数据进行排序仅仅需要68s 对4000台计算机上的1PB数据进行排序处理仅需要6小时2分钟（每次测试至少会损坏1块硬盘） 在08年1月份，Google MapReduce平均每天的数据处理量是20PB，相当于美国国会图书馆当年5月份存档网络数据的240倍 本章未完待续 微软芝加哥数据中心 * * * * * * GFS的特点 3 在用户态下实现 利用POSIX编程接口存取数据降低了实现难度，提高通用性 POSIX接口提供功能更丰富 用户态下有多种调试工具 Master和Chunk Server都以进程方式运行，单个进程不影响整个操作系统 GFS和操作系统运行在不同的空间，两者耦合性降低 * 2.1 Google文件系统GFS GFS的特点 4 只提供专用接口 接口以库文件的形式提供，应用程序与接口一起编译 优点： 1.降低了实现的难度 2.可以根据应用的特定对应用提供一些特殊支持 3.专用接口直接和client, Master, Chunk Server交互，减少操作系统之间上下文的切换，降低了复杂度 * 2.1 Google文件系统GFS 2.1 Google文件系统GFS 2.1.1 系统架构 2.1.2 容错机制 2.1.3 系统管理技术 Master容错 为了防止Master彻底死机的情况，GFS还提供了Master远程的实时备份 Master 命名空间（Name Space），也就是整个文件系统的目录结构。 Chunk与文件名的映射表。 Chunk副本的位置信息，每一个Chunk默认有三个副本。 日志 直接保存在各个Chunk Server上 当Master发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据 * 2.1 Google文件系统GFS 单个Master，对于前两种元数据，GFS通过操作日志来提供容错功能 第三种元数据信息保存在各个Chunk Server上，Master故障时，磁盘恢复 GFS还提供了Master远程的实时备份,防止Master彻底死机的情况 Chunk Server容错 GFS采用副本的方式实现Chunk Server的容错 每一个Chunk有多个存储副本（默认为三个） 对于每一个Chunk，必须将所有的副本全部写入成功，才视为成功写入 相关的副本出现丢失或不可恢复等情况，Master自动将该副本复制到其他Chunk Server GFS中的每一个文件被划分成多个Chunk，Chunk的默认大小是64MB 每一个Chunk以Block为单位进行划分，大小为64KB，每一个Block对应一个32bit的校验和 * 2.1 Google文件系统GFS GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务 GFS架构是怎样的？ Google GFS并没有采用多么惊奇的技术: 它正是采用了廉价的商用机器来构建分布式系统。正如李开复所说，创新固然重要，但是有用的创新更重要。Google使用廉价的商用机器构建分布式文件系统，将容错任务交给文件系统来完成，利用软件的方法来解决系统可靠性的问题。 在GOOGLE 的文件系统中，系统死机是经常发生的。所以系统死机都不能成为异常现象。那么如何在频繁的故障中确保数据的安全，保障提供不间断的数据存储服务是GFS需要考虑的核心 2.1 Google文件系统GFS 2.1.1 系统架构 2.1.2 容错机制 2.1.3 系统管理技术 系统管理技术 系统 管理技术 大规模集群安装 技术 故障检测技术 节点 动态 加入技术 节能技术 GFS集群中通常有非常多的节点，需要相应的技术支撑 GFS构建在不可靠廉价计算机之上的文件系统，由于节点数目众多，故障发生十分频繁 新的Chunk Server加入时 ，只需裸机加入，大大减少GFS维护工作量 Google采用了多种机制降低服务器能耗，如采用蓄电池代替昂贵的UPS * 2.1 Google文件系统GFS 2.1 Google文件系统GFS 2.2 分布式数据处理MapReduce 2.3 分布式锁服务Chubby 2.4 分布式结构化数据表Bigtable 2.5 分布式存储系统Megas