Google云计算原理_分布式锁服务Chubby.ppt

新的故障 子表服务器内存中的memtable丢失 恢复方法 按照tablet将该服务器对应的日志分片 为每个失效tablet分配新的子表服务器 新子表服务器读取对应的分段commit log，并按照日志修改tablet 删除commit log中已实施的内容 重新对外提供服务 子表服务器故障恢复 * 局部性群组(Locality Group) 根据需要，将原本不存储在一起的数据，以列族为单位存储至单独的子表 如用户对网站排名、语言等分析信息感兴趣，那么可以将这些列族放至单独的子表，减少无用信息读取，改善存取效率 布隆过滤器(Bloom Filter) 什么是布隆过滤器？判断某个元素是否隶属于集合 优点：误判概率低，其存储空间仅为Hash表的1/8至1/4 用于判断列键是否位于SSTable中，快速确定某个列键的位置 性能优化 * BigTable小结 * GOOLGE的云计算 Google App Engine * Google App Engine是隶属于PaaS类型的云服务 一个计算环境，支持Python和Java语言 可使用Google的基础服务，如BigTable和GFS等 用户仅需提供应用代码，无需服务器维护 应用程序可根据访问量和数据存储需要的增长轻松进行扩展 简介 * 特性 动态网络服务功能，能够完全支持常用的网络技术 具有持久存储的空间，可支持查询、分类等基本操作 具有自主平衡网络和系统的负载、自动进行扩展的功能 可对用户的身份进行验证，并且支持使用Google账户发送邮件 具有一个功能完整的本地开发环境，开发人员可以在自身的计算机上模拟 Google App Engine环境 应用程序环境 * 沙盒 一个虚拟环境 将开发者开发的应用程序隔离在自身的安全可靠的环境中，该环境和网络服务器的硬件、系统以及物理位置完全无关 仅提供开发人员对基础操作系统的有限访问权限 可以对开发人员进行更多的限制 只能通过网址抓取API和邮件服务API访问其他计算机 其他计算机只能通过HTTP或HTTPS与沙盒应用交互 应用程序无法对平台文件系统进行写入操作，只能读取代码文件 应用程序必须使用平台的Data Store来存储应用程序运行期间持续存在的数据 …… 应用程序环境 通过隔离来保证平台和其他开发者的安全 * 图像操作API 开发人员可通过该API对JPEG和PNG图像进行缩放、裁剪、旋转和翻转等操作 邮件API 为开发人员开发的应用程序提供电子邮件发送服务 Memcache API 高性能的内存键值缓存，用户可使用应用程序访问该缓存 可提高应用程序的性能并减少数据库的负载 网址抓取API 可以使用HTTP或HTTPS等网址来对数据进行检索 平台服务 * 用户API 使应用程序与Google帐号集成，支持Google帐号身份认证 数据库API 为用户提供查询引擎和事务存储服务 平台服务 * GOOLGE的云计算 Google云计算小结 * Google云计算小结 Google云计算应用 MapReduce BigTable GFS Chubby Google云计算小结 Google云计算应用类型 * * Thank you! * * Google云计算原理 主要内容 GOOGLE的云计算 分布式锁服务Chubby * 主要用于解决分布式一致性问题 在一个分布式系统中，有一组的Process，它们需要确定一个Value。于是每个Process都提出了一个Value，一致性就是指只有其中的一个Value能够被选中作为最后确定的值，并且当这个值被选出来以后，所有的Process都需要被通知到 粗粒度的分布式锁服务 Chubby是Google为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统 其他分布式系统可以使用它对共享资源的访问进行同步 Chubby是什么？ * 需要实现的特性 高可用性 高可靠性 支持粗粒度的建议性锁服务 支持小规模文件直接存储 不作考虑的特性 高性能 存储能力 Chubby的设计目标 * Chubby的系统架构 * 文件系统中文件的权限 文件系统中文件操作的权限有哪些？ 这些权限之间的互斥关系是怎样的？ Chubby系统本质上就是一个分布式的、存储大量小文件的文件系统 Chubby中的锁就是文件 在GFS的例子中，创建文件就是进行“加锁”操作，创建文件成功的那个server其实就是抢占到了“锁” 用户通过打开、关闭和存取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息 Chubby文件系统 * Client与Chubby的通信协议 * 主节点选举 独占锁 共享锁 数据存取应用 获取GFS ChunkServer信息 元数据存储 …… Chubby的应用 * GOOLGE