云计算与数据挖掘.pptxVIP

云计算与数据挖掘;内 容 提 纲;云计算概念与现状;云计算的起源;云计算发展的驱动因素;云计算的定义;云计算技术体系结构;Google云计算关键技术;微软的节能措施;Google云计算原理;Google需要一个支持海量存储的文件系统 购置昂贵的分布式文件系统与硬件？ ;为什么不使用当时现存的文件系统？ Google所面临的问题与众不同 不同的工作负载，不同的设计优先级（廉价、不可靠的硬件） 需要设计与Google应用和负载相符的文件系统 ;GFS的假设与目标;将文件划分为若干块（Chunk）存储 每个块固定大小（64M） 通过冗余来提高可靠性 每个数据块至少在3个数据块服务器上冗余 数据块损坏概率？ 通过单个master来协调数据访问、元数据存储 结构简单，容易保持元数据一致性 无缓存 Why? ;单一Master, 若干ChunkServer;;分布式系统设计告诉我们： 这是单点故障 这是性能瓶颈 GFS的解决办法 单点故障问题;GFS的解决办法 性能瓶颈问题;存储元数据 文件系统目录管理与加锁 与ChunkServer进行周期性通信 发送指令，搜集状态，跟踪数据块的完好性 数据块创建、复制及负载均衡 对ChunkServer的空间使用和访问速度进行负载均衡，平滑数据存储和访问请求的负载 对数据块进行复制、分散到ChunkServer上 一旦数据块冗余数小于最低数，就发起复制操作