Google云计算原理与应用（一）.pptx

云计算CLOUD COMPUTING Third Edition（第三版）第 2 章Google云计算原理与应用（一）序言　下载提示：该课件是本店铺精心编制而成的，希望大家下载后，能够帮助大家解决实际问题。课件下载后可定制修改，请根据实际需要进行调整和使用，谢谢！　Download reminder: This courseware is carefully compiled by this shop. I hope that after you download it, it can help you solve practical problems. The courseware can be customized and modified after downloading, please adjust and use it according to actual needs, thank you!2.1 Google文件系统GFS2.2 分布式数据处理MapReduce2.3 分布式锁服务Chubby2.4 分布式结构化数据表Bigtable2.5 分布式存储系统Megastore2.6 大规模分布式系统的监控基础架构Dapper2.7 海量数据的交互式分析工具Dremel2.8 内存大数据分析系统PowerDrill2.9 Google应用程序引擎全球最大搜索引擎、Google Maps、Google Earth、Gmail、YouTube等。这些应用的共性在于数据量巨大，且要面向全球用户提供实时服务。2.1 Google文件系统GFS2.1.1 系统架构2.1.2 容错机制2.1.3 系统管理技术2.1 Google文件系统GFSGFS的系统架构应用程序(文件名，Chunk索引)GFS主服务器文件命名空间/foo/barGFS客户端Chunk2ef0(Chunk句柄 Chunk位置)标注：数据信息控制信息向数据块服务器发出指令数据块服务器状态(Chunk句柄，字节范围)GFS数据块服务器GFS数据块服务器…Chunk数据Linux文件系统Linux文件系统……2.1 Google文件系统GFSGFS将整个系统节点分为三类角色Client是GFS提供给应用程序的访问接口，以库文件的形式提供Client（客户端）Master是GFS的管理节点，负责整个文件系统的管理GFSMaster（主服务器）Chunk Server（数据块服务器）Chunk Server负责具体的存储工作系统节点2.1 Google文件系统GFSGFS的实现机制客户端首先访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。 2.1 Google文件系统GFSGFS的特点1采用中心服务器模式可以方便地增加Chunk ServerMaster掌握系统内所有Chunk Server的情况，方便进行负载均衡不存在元数据的一致性问题2.1 Google文件系统GFSGFS的特点2不缓存数据 文件操作大部分是流式读写，不存在大量重复读写，使用Cache对性能提高不大Chunk Server上数据存取使用本地文件系统从可行性看，Cache与实际数据的一致性维护也极其复杂2.1 Google文件系统GFSGFS的特点3在用户态下实现利用POSIX编程接口存取数据降低了实现难度，提高通用性 POSIX接口提供功能更丰富 用户态下有多种调试工具 Master和Chunk Server都以进程方式运行，单个进程不影响整个操作系统 GFS和操作系统运行在不同的空间，两者耦合性降低 2.1 Google文件系统GFS2.1.1 系统架构2.1.2 容错机制2.1.3 系统管理技术2.1 Google文件系统GFSMaster容错Master命名空间（Name Space），也就是整个文件系统的目录结构。日志Chunk与文件名的映射表。直接保存在各个Chunk Server上Chunk副本的位置信息，每一个Chunk默认有三个副本。当Master发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据为了防止Master彻底死机的情况，GFS还提供了Master远程的实时备份2.1 Google文件系统GFSChunk Server容错GFS采用副本的方