Google云计算原理与应用.ppt

第7章 Google云计算原理与应用;提 纲;;;GFS设计动机;GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务 ;系统架构;实现机制;GFS特点;;Master容错 ;Name Space，文件系统目录结构 ;Chunk Server容错 ;尽管一份数据需要存储三份，好像磁盘空间的利用率不高，但综合比较多种因素，加之磁盘的成本不断下降，采用副本无疑是最简单、最可靠、最有效，而且实现的难度也最小的一种方法。; ? GFS中的每一个文件被划分成多个Chunk，Chunk的默认大小是64MB Chunk Server存储的是Chunk的副本，副本以文件的形式进行存储 每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本） ;;;小结;讨论;;;?Google拥有海量数据，并且需要快速处理;?计算问题简单，但求解困难 ?待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 ?如何进行并行分布式计算？ ?如何分发待处理数据？ ?如何处理分布式计