google云计算体系架构.ppt

*EC2:（ElasticComputingCloud）弹性计算云S3:（SimpleStorageService）简单存储服务*其实GoogleGFS并没有采用多么惊奇的技术。它正是采用了廉价的商用机器来构建分布式系统。正如李开复所说，创新固然重要，但是有用的创新更重要。Google使用廉价的商用机器构建分布式文件系统，将容错任务交给文件系统来完成，利用软件的方法来解决系统可靠性的问题。在GOOGLE的文件系统中，系统死机是经常发生的。所以系统死机都不能成为异常现象。那么如何在频繁的故障中确保数据的安全，保障提供不间断的数据存储服务是GFS需要考虑的核心问题。*1、GFS将整个系统划分为三类角色：Client，Master，ChunkServer2、Client提供应用程序的访问接口（是一组专用接口，不遵守POSIX规范），以库文件的形式提供3、Master是GFS的管理节点。在逻辑层面只有一个，保存整个系统的元数据。负责整个系统的文件管理。4、chunkserver负责存储工作。数据主要以文件的形式存储在Chunkserver上5、GFS将文件划分为大小为64M数据块chunk，每一个数据块（chunk）都有唯一的index索引号********具有广泛的适应性支持Google系列产品的存储需求具有很强的可扩展性根据需要随时加入或撤销服务器应对不断增多的访问请求高可用性单个节点易损，但要确保几乎所有的情况下系统都可用简单性简单的底层系统可减少系统出错概率，为上层开发带来便利*设计目标总体上，与关系数据库中的表类似*逻辑视图RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“html..“Text/htmlT5“html..“t3“html..“关系数据库中的表是什么样的？有什么特征？关系数据库中的表设计需要遵循什么原则？行每行数据有一个可排序的关键字和任意列项字符串、整数、二进制串甚至可串行化的结构都可以作为行键表按照行键的“逐字节排序”顺序对行进行有序化处理表内数据非常‘稀疏’，不同的行的列的数完全目可以大不相同URL是较为常见的行键，存储时需要倒排统一地址域的网页连续存储，便于查找、分析和压缩*数据模型/index.asp→com.baidu.mp3/index.asp列特定含义的数据的集合，如图片、链接等可将多个列归并为一组，称为族（family）采用族:限定词的语法规则进行定义fileattr:owning_group”,“fileattr:owning_user”,etc同一个族的数据被压缩在一起保存族是必须的，是BigTable中访问控制的基本单元*数据模型时间戳保存不同时期的数据，如“网页快照”“Abigtable”表中的列可以不受限制地增长表中的数据几乎可以无限地增加*数据模型通过(row,col,timestamp)查询通过(row,col,MOST_RECENT)查询无数据校验每行都可存储任意数目的列BigTable不对列的最少数目进行约束任意类型的数据均可存储BigTable将所有数据均看作为字符串数据的有效性校验由构建于其上的应用系统完成一致性针对同一行的多个操作可以分组合并不支持对多行进行修改的操作符*数据模型*物理视图RowKeyTimeStampColumn:ContentsCn.wwwT6“html..”T5“html..”T3“html..”RowKeyTimeStampColumn:AnchorCn.wwwT9Anchor:CNNT5Anchor:my.look.caCNN.COMRowKeyTimeStampColumn:mimeCn.wwwT6text/htmlRowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“html..“Text/htmlT5“html..“t3“html..“逻辑上的“表”被划分为若干子表（Tablet）每个Tablet由多个SSTable文件组成SSTable文件存储在GFS之上每个子表存储了table的一部