《云计算(第二版)》—第二章-Google云计算原理与应用(1).pptxVIP

电子工业出版社《云计算(第二版)》配套课件第2章 Google云计算原理与应用解放军理工大学 刘鹏 教授主编华东交通大学 刘鹏 制作《云计算（第二版）》购买网址：/product.aspx?product_id当网 html京东商城姊妹力作《实战Hadoop》购买网址：/product.aspx?product_id当网 html京东商城提 纲? Google文件系统GFS ? 分布式数据处理MapReduce ? 分布式锁服务Chubby ? 分布式结构化数据表Bigtable ? 分布式存储系统Megastore ? 大规模分布式系统的监控基础架构Dapper? Google应用程序引擎 Google文件系统GFS? 系统架构 ? 容错机制 ? 系统管理技术 Google业务?全球最大搜索引擎、Google Maps、Google Earth、Gmail、YouTube等 数据量巨大，且面向全球用户提供实时服务 秘密武器：云计算平台！Google云计算平台技术架构?文件存储，Google Distributed File System，GFS?并行数据处理MapReduce?分布式锁Chubby?分布式结构化数据表BigTable?分布式存储系统Megastore ?分布式监控系统Dapper GFS设计动机 ?Google需要一个支持海量存储的文件系统?购置昂贵的分布式文件系统与硬件？是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？ ?为什么不使用当时现存的文件系统？ ?Google所面临的问题与众不同 ?不同的工作负载，不同的设计优先级（廉价、不可靠的硬件） ?需要设计与Google应用和负载相符的文件系统GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务 GFS架构是怎样的？系统架构Client（客户端）：应用程序的访问接口 Master（主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据，负责整个文件系统的管理 Chunk Server（数据块服务器）：负责具体的存储工作。数据以文件的形式存储在Chunk Server上 ?客户端首先访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。?Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。?Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。 实现机制GFS特点有哪些？GFS特点采用中心服务器模式?可以方便地增加Chunk Server? Master掌握系统内所有Chunk Server的情况，方便进行负载均衡?不存在元数据的一致性问题不缓存数据 ?文件操作大部分是流式读写，不存在大量重复读写，使用Cache对性能提高不大? Chunk Server上数据存取使用本地文件系统，若读取频繁，系统具有Cache?从可行性看，Cache与实际数据的一致性维护也极其复杂在用户态下实现 ?利用POSIX编程接口存取数据降低了实现难度，提高通用性 ?POSIX接口提供功能更丰富 ?用户态下有多种调试工具 ?Master和Chunk Server都以进程方式运行，单个进程不影响整个操作系统 ?GFS和操作系统运行在不同的空间，两者耦合性降低 只提供专用接口 ?降低实现的难度 ?对应用提供一些特殊支持 ?降低复杂度 Google文件系统GFS? 系统架构 ? 容错机制 ? 系统管理技术 Master容错 Name Space，文件系统目录结构 MasterChunk与文件名的映射Chunk副本的位置信息(默认有三个副本) 单个Master，对于前两种元数据，GFS通过操作日志来提供容错功能 第三种元数据信息保存在各个Chunk Server上，Master故障时，磁盘恢复 GFS还提供了Master远程的实时备份,防止Master彻底死机的情况Name Space，文件系统目录结构 Chunk与文件名的映射MasterChunk副本的位置信息Chunk Server容错 ?采用副本方式实现Chunk Server容错? 每一个Chunk有多个存储副本（默认为三个），分布存储在不同的Chunk