《云计算复习资料》.docxVIP

第一章：大数据与云计算 何为大数据？ 海量数据或巨量数据，其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、 存 储、管理、处理并提炼以帮助使用者决策。 大数据具有4V+1C的特征 数据量大：存储的数据量巨大， PB级是常态 多样：数据的来源及格式多样 快速：数据增长速度快 价值密度低：需要对大量的数据进行处理，挖掘其潜在的价值。 复杂度：对数据的处理和分析的难度大 什么是云计算？ 长定义：云计算是一种商业模型。它将计算任务分布在大量计算机构成的资源池上， 使各种 应用系统能根据需要获取计算力、存储空间和信息服务。 短定义：云计算是通过网络按需提供可动态伸缩的廉价计算服务。 云计算是并行计算、分布式计算和网络计算的发展。 云计算特点： 超大规模(2)虚拟化(3)高可靠性(4)通用性 (5)高可伸缩性(6)按需服务(7)极其廉价 云计算按照服务类型大致可分为三类 将基础设施作为服务。 (IaaS ) (2)将平台作为服务。(PaaS ) (3)将软件作为服务 (SaaS ) 云计算实现机制 云计算技术体系结构分为四层：物理资源层、资源池层、管理中间件层和 SOA构建层 云计算优势 更低的硬件和网络成本(2)更低的管理成本和电力成本( 3)更高的资源利用率 第二章：Google云计算原理与应用 Google文件系统是一个大型的分布式文件系统。 它为Google云计算提供海量存储，处于 所有核心技术的底层。 GFS将整个系统的节点分为三类角色： 客户端、主服务器、数据块服务器 GFS特点 采用中心服务器模式(2)不缓存数据(3)在用户状态下实现(4)只提供专用接口 在服务器失效经常发生的情况下，云计算数据存储技术需要采用容错机制和冗余机制来保 证数据的可用性。 Master容错：Master上保存了 GFS文件系统的三种元数据。 命名空间，也就是整个文件系统的目录结构 Chunk与文件名的映射表 Chunk副本的位置信息，每一个 Chunk默认有三个副本 Chunk Server 容错：Chunk的默认大小是 64MB。 系统管理技术 大规模集群安装技术(2)故障检测技术(3)节点动态加入技术(4)节能技术 MapReduce :在编程时，开发者必须实现两个主要的函数 Map和Reduce 一个Map函数就是对一部分原始数据进行指定的操作 一个Reduce操作就是对每个 Map所产生的中间结果进行合并操作 实现机制 MapReduce函数首先把输入文件分成 M块 分派的执行程序中有一个主控程序 Master 一个被分配了 Map任务的 Worker读取并处理相关的输入块 缓冲到内存的中间结果将被定时写到本地硬盘，这些数据通过分区函数分成 R个区。 当Master通知执行 Reduce的Worker关于中间＜key,value＞对的位置时，它调用远 程过程，从 Map Worker的本地硬盘上读取缓冲的中间数据。 Reduce Worker根据每一个唯一中间 key来遍历所有的排序后的中间数据，并且把 key和相关的中间结果值集合传递给用户定义的 Reduce函数 当所有的Map任务和Reduce任务都完成的时候， Master激活用户程序。 容错机制MapReduce通过重新执行失效的地方来实现容错。 Master失效：Master会周期性地设置检查点，并导出 Master的数据。一旦某个任务 失效，系统就从最近的一个检查点恢复并重新执行。由于只有一个 Master在运行，如果 Master失效了，则只能终止整个 MapReduce程序的运行并重新开始。 Worker失效：Master会周期性地给 Worker发送ping命令，如果没有 Worker的应 答，则Master认为Worker失效，终止对这个 Worker的任务调度，把失效 Worker的任务 调度到其他Worker上重新执行。 P20 案例分析 和 实习 wordcount BigTable设计动机 需要存储的数据种类繁多 海量的服务请求 商用数据库无法满足 Google的需求 BigTable设计目标 （1）广泛的适用性（2）很强的可扩展性（3）高可用性（4）简单性 Bigtable 是一个分布式多维映射表， 表中的数据通过一个行关键字、一个列关键字、一 个时间戳进行索引。数据类型： string （row:string,column:string,time:int64 ） -string 行：可以是任意的字符串，大小不能超过 64KB。表中的数据都是根据行关键字进行排 序的，排序使用的是词典序。 倒排好处：（1）同一地址域的网页会被存储在表中的连续为 止，有利于用户查找和分析。 （2）倒排便于数据压缩，可以大幅提高压缩率。 列：将其组织