云计算与数据挖掘.pdf

内内 容容 提提 纲纲 云计算概念与现状 Google文件系统 Google MapReduce Google Bigtable 大云数据挖掘系统 云计算的起源云计算的起源 云计算发展的驱动因素云计算发展的驱动因素 云计算的定义 云计算是一种商业计算模型。它 将计算任务分布在大量计算机构成的将计算任务分布在大量计算机构成的 资源池上，使各种应用系统能够根据 需要获取计算力、存储空间和信息服 务务。。 云计算技术体系结构 GoogleGoogle云计算关键技术云计算关键技术 MapReduceMapReduce BigTableBigTable ChubbyChubby GFSGFSGFSGFS –Google文件系统GFS(Google File System) –并行数据处理并行数据处理MMapRRedduce –结构化数据表BigTable –分布式锁管理分布式锁管理ChChubbbby 微软的节能措施软的节能措施 分布式文件系统GFS GGooglle FilFile SSystem 12  GoogleGoogle需要一个支持海量存储的文件系统需要一个支持海量存储的文件系统 ◦ 购置昂贵的分布式文件系统与硬件？ 是否可以在一堆廉价且不可靠的硬件上构建是否可以在一堆廉价且不可靠的硬件上构建 可靠的分布式文件系统？ 13  为什么不使用当时现存的文件系统为什么不使用当时现存的文件系统？？ ◦ Google所面临的问题与众不同  不同的工作负载不同的工作负载，，不同的设计优先级不同的设计优先级 （（廉价廉价、、不可靠的硬件不可靠的硬件）） ◦ 需要设计与Google应用和负载相符的文件系统 14  硬件出错是正常而非异常硬件出错是正常而非异常 ◦ 系统应当由大量廉价、易损的硬件组成 ◦ 必须保持文件系统整体的可靠性必须保持文件系统整体的可靠性  主要负载是流数据读写 ◦◦ 主要用于程序处理批量数据主要用于程序处理批量数据，而非与用户的交互或随机读而非与用户的交互或随机读 写 ◦ 数据写主要是“追加写”，“插入写”非常少  需要存储大尺寸的文件 ◦ 存储的文件尺寸可能是GB或TB量级，而且应当能支持存 储成千上万的大尺寸文件 15  将文件划分为若干块将文件划分为若干块 （（ChunkChunk））存储存储 ◦ 每个块固定大小（64M）  通过冗余来提高可靠性通过冗余来提高可靠性 ◦ 每个数据块至少在3个数据块服务器上冗余 ◦ 数据块损坏概率数据块损坏概率？？  通过单个master来协调数据访问、元数据存储 ◦ 结构简单结构简单，，容易保持元数据容易保持元数据一致性致性  无缓存 ◦ Why?Why? 16  单一单一MasterMaster, 若干若干ChunkServerChunkServer GFSGFS的架构有什么问题吗？