Google云计算平台架构分析.pptVIP

Google云计算平台架构分析;提 纲? Google文件系;Google文件系统GFS? ;Google业务?全球最大搜索;GFS设计动机 ?Google;GFS系统架构Client（客;GFS将容错的任务交给文件系统;实现机制?客户端首先访问Mas;GFS特点采用中心服务器模式?;Google文件系统GFS? ;Master容错 Master;Name Space，文件系统;Chunk Server容错 ;? GFS中的每一个文件被划分;尽管一份数据需要存储三份，好像;Google文件系统GFS? ;大规模集 群安装技术故障检测;小结简单的，就是最好的！;分布式数据处理MapReduc;MapReduce ?一种处理;?Google拥有海量数据，并;?计算问题简单，但求解困难?待;Jeffery Dean设计一;分布式数据处理MapReduc;MapReduce运行模型 M;Map: (in_key, i;Map: (in_key, i;Map的输入参数指明了需要处理;分布式数据处理MapReduc;MapReduce操作执行流程;MapReduce操作过程（1;MapReduce操作过程（5;MapReduce容错 Mas;分布式数据处理MapReduc;假设有一批海量的数据，每个数据;对原始的数据进行分割（Spli;每一个数据分块都启动一个Map;按照首字母将Map中不同桶中的;分布式锁服务Chubby ? ;一种建议性的锁而不是强制性的锁;Paxos算法 Paxos算法;Paxos算法缺陷——专门节点;Paxos算法（1）决议只有被;Paxos算法P1：每个acc;Paxos算法决议通过的两个阶;分布式锁服务Chubby ? ;系统设计目标Chubby系统设;Chubby系统设计Chubb;Chubby系统设计Paxos;Chubby系统设计Chubb;分布式锁服务Chubby ? ;Chubby中的Paxos单个;Chubby中的Paxos容错;Chubby中的Paxos?C;Chubby中的Paxos?C;分布式锁服务Chubby ? ;Chubby文件系统Chubb;Chubby文件系统?Chub;实例号：新节点实例号必定大于旧;Chubby文件系统序号：确定;Chubby文件系统?在实际执;分布式锁服务Chubby ? ;Chubby客户端与服务器端的;故障处理 客户端租约过期 ?客;故障处理 主服务器出错 正常情;?系统实现时，Chubby还使;分布式锁服务Chubby ? ;一致性 ?每个Chubby单元;安全性 ?Chubby用ACL;性能优化 ?为满足系统高可扩展;分布式结构化数据表Bigtab;设计动机与目标需要存储的数据种;设计动机与目标基本目标高可用性;分布式结构化数据表Bigtab;数据模型 ?Bigtable是;数据模型?行 ?Bigta;数据模型?列 ?Bigt;数据模型?时间戳 ?Goo;分布式结构化数据表Bigtab;系统架构 一个分布式的任务调度;系统架构 ?在Bigtable;系统架构 ?Bigtable主;分布式结构化数据表Bigtab;主服务器?当一个新子表产生时，;主服务器?主服务器会定期向其询;主服务器 基于系统出现故障;分布式结构化数据表Bigtab;SSTable及子表基本结构 ;子表地址结构 子表地址的查询是;?所有子表地址都被记录在元数据;?为了减少访问开销，提高客户访;子表数据存储及读/写操作 B;三种形式压缩之间的关系 Big;分布式结构化数据表Bigtab;局部性群组（Locality ;?压缩 ?压缩可以有效地节省空;布隆过滤器（Bloom Fil;分布式存储系统Megastor;?在互联网的应用中，为了达到好;设计目标及方案选择 可用性——;数据分区和复制 数据分区和复制;分布式存储系统Megastor;Megastore数据模型 ?;?Google设计了一种能够提;数据模型实例 照片共享服务数据;索引（Index） ?Mega;Bigtable中数据存储情况;分布式存储系统Megastor;Megastore中的事务及并;Megastore中的事务及并;读：获取最后一次提交的事务的时;Megastore中的事务机制;分布式存储系统Megastor;Megastore的基本架构?;?Megastore中提供快速;?快速写 ? Megasto;分布式存储系统Megastor;复制的日志 预写式日志 ?当;数据读取 数据读取 ?数据读取;数据写入 数据写入 ?数据写入;协调者??可用性 协调者在系统中;分布式存储系统Megastor;可用性分布情况 可用性分布情况;产品延迟情况分布 ?应用程序的;大规模分布式系统的监控基础架构;用户