Google云计算原理与应用.pdf

Google云计算原理与应用 解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作 《云计算（第二版）》购买网址： 当当网 京东商城 姊妹力作《实战Hadoop》购买网址： 当当网 京东商城 提 纲 Google文件系统GFS 分布式数据处理MapReduce 分布式锁服务Chubby 分布式结构化数据表Bigtable 分布式存储系统Megastore 大规模分布式系统的监控基础架构Dapper Google应用程序引擎 Google文件系统GFS 系统架构 容错机制 系统管理技术 Google业务 全球最大搜索引擎、Google Maps、Google Earth、 Gmail、YouTube等 数据量巨大，且面 Google云计算平台技术架构 向全球用户提供实时 秘密武器：云计算平台！ 服务 文件存储，Google Distributed File System，GFS 并行数据处理MapReduce 分布式锁Chubby 分布式结构化数据表BigTable 分布式存储系统Megastore 分布式监控系统Dapper GFS设计动机 Google需要一个支持海量存储的文件系统 购置昂贵的分布式文件系统与硬件？ 是否可以在一堆廉价且不可靠的硬件上构建 是否可以在一堆廉价且不可靠的硬件上构建 可靠的分布式文件系统？ 可靠的分布式文件系统？ 为什么不使用当时现存的文件系统？ Google所面临的问题与众不同 不同的工作负载，不同的设计优先级（廉价、不可靠的硬件） 需要设计与Google应用和负载相符的文件系统 GFS将容错的任务交给文件系统完成，利用软件的方法解决系 统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视 GFS架构是怎样的？ GFS架构是怎样的？ 为正常现象，并采用多种方法，从多个角度，使用不同的容错 措施，确保数据存储的安全、保证提供不间断的数据存储服务 系统架构 Client （客户端）：应用程序的访问接口 Client （客户端）：应用程序的访问接口 Master （主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据，负 Master （主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据，负 责整个文件系统的管理 责整个文件系统的管理 Chunk Server （数据块服务器）：负责具体的存储工作。数据以文件的形式存 Chunk Server （数据块服务器）：负责具体的存储工作。数据以文件的形式存 储在Chunk Server上 储在Chunk Server上 客户端首先访问Master节点，获取交互的Chunk Server信息，然后访 客户端首先访问Master节点，获取交互的Chunk Server信息，然后访 问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流 问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流 和数据流的分离。 和数据流的分离。 制 机 现 实 Client与Master之间只有控制流，而无数据流，极大地降低了Master