2_第2章Google云计算原理与应用.ppt

电子工业出版社《云计算(第二版)》配套课件;《云计算（第二版）》购买网址： 当当网 京东商城;提 纲;Google文件系统GFS;;GFS设计动机;GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务 ;系统架构;实现机制;GFS特点;Google文件系统GFS;Master容错 ;Name Space，文件系统目录结构 ;Chunk Server容错 ;尽管一份数据需要存储三份，好像磁盘空间的利用率不高，但综合比较多种因素，加之磁盘的成本不断下降，采用副本无疑是最简单、最可靠、最有效，而且实现的难度也最小的一种方法。; ? GFS中的每一个文件被划分成多个Chunk，Chunk的默认大小是64MB Chunk Server存储的是Chunk的副本，副本以文件的形式进行存储 每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本） ;Google文件系统GFS;大规模集 群安装技术 ;小结;讨论;分布式数据处理MapReduce ;;?Google拥有海量数据，并且需要快速处理;?计算问题简单，但求解困难 ?待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 ?如何进行并行分布式计算？ ?如何分发待处理数据？ ?如何处理分布式计算中的错误？;Jeffery Dean设计一个新的抽象模型， 封装并行处理、容错处理、本地化计算、负载均衡的细节，还提供了一个简单而强大的接口 这就是MapReduce;分布式数据处理MapReduce ;;Map: (in_key, in_value) ? {(keyj, valuej) | j = 1…k} Reduce: (key, [value1,…,valuem]) ? (key, final_value) ;Map: (in_key, in_value) ? {(keyj, valuej) | j = 1…k} Reduce: (key, [value1,…,valuem]) ? (key, final_value) ;Map的输入参数指明了需要处理哪部分数据，以“在文本中的起始位置，需要处理的数据长度”表示，经过Map处理，形成一批中间结果“单词，出现次数”。而Reduce函数处理中间结果，将相同单词出现的次数进行累加，得到每个单词总的出现次数 ;分布式数据处理MapReduce ;MapReduce操作执行流程图 ;操作过程;操作过程;MapReduce容错 ;分布式数据处理MapReduce ;假设有一批海量的数据，每个数据都是由26个字母组成的字符串，原始的数据集合是完全无序的，怎样通过MapReduce完成排序工作，使其有序（字典序）呢？ ;;;;谢 谢！