《云计算第三版》配套之二：第2章Google云计算原理与应用一.pptx

电子工业出版社《云计算(第三版)》配套课件云计算CLOUD COMPUTING Third Edition（第三版）第 2 章Google云计算原理与应用（一）主编：刘鹏 教授电子工业出版社《云计算(第三版)》配套课件本套PPT下载地址：/list.aspx?cid=20云计算的红宝书书籍购买地址：/item.html?itemID=1469775685p=-1/item.html?itemID=1469775685p=-1（包邮且有刘鹏教授亲笔签名）微信扫描二维码关注云计算头条刘 鹏 教授、博导、学科带头人，清华大学博士。现任中国云计算专家咨询委员会秘书长、中国信息协会大数据分会副会长、工业与信息化部云计算研究中心专家。 主持完成科研项目25项，发表论文80余篇，出版专业书籍15本。获部级科技进步二等奖4项、三等奖4项。主编了国内第一本云计算教材《云计算》和第一本云计算编程书籍《实战Hadoop》。创办了知名的中国云计算（）和中国大数据（）网站。 曾率队夺得2002 PennySort国际计算机排序比赛冠军，两次夺得全国高校科技比赛最高奖，并三次夺得清华大学科技比赛最高奖。 荣获“全军十大学习成才标兵”（排名第一）、南京“十大杰出青年”、江苏省“333高层次人才培养工程”中青年科学技术带头人、清华大学“学术新秀”等称号。2.1 Google文件系统GFS2.2 分布式数据处理MapReduce2.3 分布式锁服务Chubby2.4 分布式结构化数据表Bigtable2.5 分布式存储系统Megastore2.6 大规模分布式系统的监控基础架构Dapper2.7 海量数据的交互式分析工具Dremel2.8 内存大数据分析系统PowerDrill2.9 Google应用程序引擎全球最大搜索引擎、Google Maps、Google Earth、Gmail、YouTube等。这些应用的共性在于数据量巨大，且要面向全球用户提供实时服务。2.1 Google文件系统GFS2.1.1 系统架构2.1.2 容错机制2.1.3 系统管理技术2.1 Google文件系统GFSGFS的系统架构应用程序(文件名，Chunk索引)GFS主服务器文件命名空间/foo/barGFS客户端Chunk2ef0(Chunk句柄 Chunk位置)标注：数据信息控制信息向数据块服务器发出指令数据块服务器状态(Chunk句柄，字节范围)GFS数据块服务器GFS数据块服务器…Chunk数据Linux文件系统Linux文件系统……2.1 Google文件系统GFSGFS将整个系统节点分为三类角色Client是GFS提供给应用程序的访问接口，以库文件的形式提供Client（客户端）Master是GFS的管理节点，负责整个文件系统的管理GFSMaster（主服务器）Chunk Server（数据块服务器）Chunk Server负责具体的存储工作系统节点2.1 Google文件系统GFSGFS的实现机制客户端首先访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。 2.1 Google文件系统GFSGFS的特点1采用中心服务器模式可以方便地增加Chunk ServerMaster掌握系统内所有Chunk Server的情况，方便进行负载均衡不存在元数据的一致性问题2.1 Google文件系统GFSGFS的特点2不缓存数据 文件操作大部分是流式读写，不存在大量重复读写，使用Cache对性能提高不大Chunk Server上数据存取使用本地文件系统从可行性看，Cache与实际数据的一致性维护也极其复杂2.1 Google文件系统GFSGFS的特点3在用户态下实现利用POSIX编程接口存取数据降低了实现难度，提高通用性 POSIX接口提供功能更丰富 用户态下有多种调试工具 Master和Chunk Server都以进程方式运行，单个进程不影响整个操作系统 GFS和操作系统运行在不同的空间，两者耦合性降低 2.1 Google文件系统GFS2.1.1 系统架构2.1.2 容错机制2.1.3 系统管理技术2.1 Google文件系统GFSMaster容错Master命名空间（Name Space），也就是整个文件系统的目录结构。日志Chunk与文件名的映射表。直接