google云计算研讨.pptxVIP

第2章 Google云计算;一、本章学习要点;二、教学内容和重点知识解析;提 纲;;提 纲;Google外部网络系统;提 纲;Google内部网络系统;提 纲;Google 的大规模IDC部署战略;提 纲;Google的服务器机架构架（1）;Google的服务器机架构架（2）;提 纲;Google 自己设计的PC服务器刀片;提 纲;Google 服务器使用的操作系统;提 纲;? 系统架构 ? 容错机制 ? 系统管理技术 ;;GFS设计动机;GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务 ;系统架构;?客户端首先访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。 ?Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。 ?Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。 ;GFS特点;Google文件系统GFS;Master容错 ;Name Space，文件系统目录结构 ;Chunk Server容错 ;尽管一份数据需要存储三份，好像磁盘空间的利用率不高，但综合比较多种因素，加之磁盘的成本不断下降，采用副本无疑是最简单、最可靠、最有效，而且实现的难度也最小的一种方法。; ? GFS中的每一个文件被划分成多个Chunk，Chunk的默认大小是64MB Chunk Server存储的是Chunk的副本，副本以文件的形式进行存储 每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本）;Google文件系统GFS;;小结;提 纲;Google 并行计算构架分布式数据处理MapReduce;;?Google拥有海量数据，并且需要快速处理;?计算问题简单，但求解困难 ?待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 ?如何进行并行分布式计算？ ?如何分发待处理数据？ ?如何处理分布式计算中的错误？;Jeffery Dean设计一个新的抽象模型， 封装并行处理、容错处理、本地化计算、负载均衡的细节，还提供了一个简单而强大的接口 这就是MapReduce;分布式数据处理MapReduce ;;Map: (in_key, in_value) ? {(keyj, valuej) | j = 1…k} Reduce: (key, [value1,…,valuem]) ? (key, final_value) ;Reduce输入参数：（key, [value1,…,valuem]） Reduce工作：对这些对应相同key的value值进行归并处理 Reduce输出结果：（key, final_value），所有Reduce的结果并在一起就是最终结果 ;Map的输入参数指明了需要处理哪部分数据，以“在文本中的起始位置，需要处理的数据长度”表示，经过Map处理，形成一批中间结果“单词，出现次数”。而Reduce函数处理中间结果，将相同单词出现的次数进行累加，得到每个单词总的出现次数 ;分布式数据处理MapReduce ;操作过程;操作过程;MapReduce操作执行流程图 ;MapReduce容错 ;分布式数据处理MapReduce ;假设有一批海量的数据，每个数据都是由26个字母组成的字符串，原始的数据集合是完全无序的，怎样通过MapReduce完成排序工作，使其有序（字典序）呢？ ;;;;提 纲;Google 并行计算数据库;设计动机与目标;设计动机与目标;BigTable （一）;BigTable （二）行;BigTable （三）列;BigTable （四???时间戳;BigTable （五）组织结构 I;BigTable （五）组织结构 II;;提 纲;Google并行锁服务Chubby ;;Paxos算法 ;Paxos算法;Paxos算法;分布式锁服务Chubby ;系统设计目标;Chubby系统设计;Chubby系统设计;Chubby系统设计;分布式锁服务Chubby ;Chubby中的Paxos;Chubby中的Paxos;Chubby中