2010高级项目经理继续教育考试教程-Google云计算原理.ppt

主节点的职责 为每个子表服务器分配子表，对外提供服务 与GFS垃圾回收进行交互，收回废弃的SSTable 探测子表服务器的故障与恢复 负载均衡 * 有效缓解单点故障 子表服务器故障 * 子表服务器故障 * 子表服务器故障 * 数据访问方式 * 数据写的流程 任何对子表的写操作都会记录到一个存储在GFS之上的commit log中 每个子表服务器上所有子表变化对应于一个commit log 新的数据存储到子表服务器的内存（memtable）中 次压缩 旧数据存储在SSTable中，而新数据存放在memtable中 当memtable体积超过一定阈值，将形成SSTable，并写入GFS 每个tablet对应多个SSTable * 合并压缩 tablet含有多个SSTable导致查询效率低 合并压缩操作读取多个SSTable，创建一个新的SSTable来保持其中的最新数据 旧的SSTable删除 如果合并压缩操作完成后，tablet只包含一个SSTable，那么该操作也称为主压缩 * 数据存储与读取流程 * 子表服务器故障恢复 新的故障 子表服务器内存中的memtable丢失 恢复方法 按照tablet将该服务器对应的日志分片 为每个失效tablet分配新的子表服务器 新子表服务器读取对应的分段commit log，并按照日志修改tablet 删除commit log中已实施的内容 重新对外提供服务 * 性能优化 局部性群组(Locality Group) 根据需要，将原本不存储在一起的数据，以列族为单位存储至单独的子表 如用户对网站排名、语言等分析信息感兴趣，那么可以将这些列族放至单独的子表，减少无用信息读取，改善存取效率 布隆过滤器(Bloom Filter) 什么是布隆过滤器？判断某个元素是否隶属于集合 优点：误判概率低，其存储空间仅为Hash表的1/8至1/4 用于判断列键是否位于SSTable中，快速确定某个列键的位置 * BigTable小结 * 综合讨论 Google云计算架构中GFS、MapReduce和BigTable中是否存在集群节点复用的情况？ 如何复用？ 节点复用的好处有哪些？ Google云计算架构的设计对你有哪些启发？有哪些收获？ GOOLGE的云计算 Google App Engine * 简介 Google App Engine是隶属于PaaS类型的云服务 一个计算环境，支持Python和Java语言 可使用Google的基础服务，如BigTable和GFS等 用户仅需提供应用代码，无需服务器维护 应用程序可根据访问量和数据存储需要的增长轻松进行扩展 * 应用程序环境 特性 动态网络服务功能，能够完全支持常用的网络技术 具有持久存储的空间，可支持查询、分类等基本操作 具有自主平衡网络和系统的负载、自动进行扩展的功能 可对用户的身份进行验证，并且支持使用Google账户发送邮件 具有一个功能完整的本地开发环境，开发人员可以在自身的计算机上模拟 Google App Engine环境 * 应用程序环境 沙盒 一个虚拟环境 将开发者开发的应用程序隔离在自身的安全可靠的环境中，该环境和网络服务器的硬件、系统以及物理位置完全无关 仅提供开发人员对基础操作系统的有限访问权限 可以对开发人员进行更多的限制 只能通过网址抓取API和邮件服务API访问其他计算机 其他计算机只能通过HTTP或HTTPS与沙盒应用交互 应用程序无法对平台文件系统进行写入操作，只能读取代码文件 应用程序必须使用平台的Data Store来存储应用程序运行期间持续存在的数据 …… * 通过隔离来保证平台和其他开发者的安全 平台服务 图像操作API 开发人员可通过该API对JPEG和PNG图像进行缩放、裁剪、旋转和翻转等操作 邮件API 为开发人员开发的应用程序提供电子邮件发送服务 Memcache API 高性能的内存键值缓存，用户可使用应用程序访问该缓存 可提高应用程序的性能并减少数据库的负载 网址抓取API 可以使用HTTP或HTTPS等网址来对数据进行检索 * 平台服务 用户API 使应用程序与Google帐号集成，支持Google帐号身份认证 数据库API 为用户提供查询引擎和事务存储服务 * Hello World * print Content-Type: text/plain print print Hello, world! GOOLGE的云计算 Google云计算小结 * Google云计算小结 Google云计算应用 MapReduce BigTable GFS Chubby Google云计算小结 Google云计算应用类型 * * * Google云计算原理 主要内容（6学时） GOOGLE的云