[计算机软件及应用]《云计算II》—第02章_Google云计算原理与应用1.pptVIP

电子工业出版社《云计算(第二版)》配套课件 解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作 第2章 Google云计算原理与应用 《云计算（第二版）》购买网址： 当当网 京东商城 姊妹力作《实战Hadoop》购买网址： 当当网 京东商城 提 纲  Google文件系统GFS  分布式数据处理MapReduce  分布式锁服务Chubby  分布式结构化数据表Bigtable  分布式存储系统Megastore  大规模分布式系统的监控基础架构Dapper  Google应用程序引擎 Google文件系统GFS  系统架构  容错机制  系统管理技术 Google业务 全球最大搜索引擎、Google Maps、Google Earth、Gmail、YouTube等 数据量巨大，且面向全球用户提供实时服务 Google云计算平台技术架构 文件存储，Google Distributed File System，GFS 并行数据处理MapReduce 分布式锁Chubby 分布式结构化数据表BigTable 分布式存储系统Megastore 分布式监控系统Dapper 秘密武器：云计算平台！ GFS设计动机 Google需要一个支持海量存储的文件系统 购置昂贵的分布式文件系统与硬件？ 为什么不使用当时现存的文件系统？ Google所面临的问题与众不同 不同的工作负载，不同的设计优先级（廉价、不可靠的硬件） 需要设计与Google应用和负载相符的文件系统 是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？ GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务 GFS架构是怎样的？ 系统架构 Client（客户端）：应用程序的访问接口 Master（主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据，负责整个文件系统的管理 Chunk Server（数据块服务器）：负责具体的存储工作。数据以文件的形式存储在Chunk Server上 实现机制 客户端首先访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。 Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。 Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。 GFS特点有哪些？ GFS特点 采用中心服务器模式 可以方便地增加Chunk Server  Master掌握系统内所有Chunk Server的情况，方便进行负载均衡 不存在元数据的一致性问题 不缓存数据 文件操作大部分是流式读写，不存在大量重复读写，使用Cache对性能提高不大  Chunk Server上数据存取使用本地文件系统，若读取频繁，系统具有Cache 从可行性看，Cache与实际数据的一致性维护也极其复杂 在用户态下实现 利用POSIX编程接口存取数据降低了实现难度，提高通用性 POSIX接口提供功能更丰富 用户态下有多种调试工具 Master和Chunk Server都以进程方式运行，单个进程不影响整个操作系统 GFS和操作系统运行在不同的空间，两者耦合性降低 只提供专用接口 降低实现的难度 对应用提供一些特殊支持 降低复杂度 Google文件系统GFS  系统架构  容错机制  系统管理技术 Master容错 Master Name Space，文件系统目录结构 Chunk与文件名的映射 Chunk副本的位置信息(默认有三个副本) Name Space，文件系统目录结构 Chunk与文件名的映射 Chunk副本的位置信息 Master 单个Master，对于前两种元数据，GFS通过操作日志来提供容错功能 第三种元数据信息保存在各个Chunk Server上，Master故障时，磁盘恢复 GFS还提供了Master远程的实时备份,防止Master彻底死机的情况 Chunk Server容错 采用副本方式实现Chunk Server容错  每一个