云计算概述课程.pptxVIP

云计算概述课程第1页/共80页第2页/共80页 云计算简介 谷歌GAE 三大云计算 亚马逊AWS 开源Hadoop 理论研究热点 总结与展望第3页/共80页第4页/共80页第5页/共80页 一种在规模经济驱动下产生的大规模分布式计算。它是一个资源池，其中包含了抽象的、虚拟化的、可动态伸缩和管理的计算资源、存储资源、平台和服务，并通过因特网按需提供给用户。第6页/共80页第7页/共80页第8页/共80页Google File System(GFS) BigTable MapReduce第9页/共80页ClientClientClientClientGFS MasterClientReplicasMastersGFS MasterC1C1C0C0C5…C2..C3..C5C5Chunkserver 2Chunkserver NChunkserver 1文件被分割成chunks (典型大小为64 MB)Master 管理元数据数据传输直接在clients/chunkservers之间进行第10页/共80页容错技术冗余备份日志校验和管理技术大规模集群安装升级故障检测节点动态加入节能技术第11页/共80页Google File System(GFS) BigTable MapReduce第12页/共80页为什么设计BigTable？数据种类繁多海量服务请求设计目标：适用性可扩展性高可用性简单性第13页/共80页数据模型(row, column, timestamp) ? cell contents第14页/共80页基本架构第15页/共80页Google File System(GFS) BigTable MapReduce第16页/共80页数据处理的两个阶段Map: (in_key, in_value) ? {(keyj, valuej) | j = 1…k}Reduce: (key, [value1,…valuem]) ? (key, f_value)第17页/共80页hello,3world,2bye,3hadoop,4第18页/共80页第19页/共80页第20页/共80页为什么使用Dynamo？半结构化数据：购物车、信息会话管理和推荐商品列表数据处理方式：简单的读取、写入，简单的键值方式存储实现：位的形式存储，处理所有的数据类型应用：S3构建在Dynamo之上，SimpleDB也极有可能第21页/共80页问题相关技术数据均衡分布改进的一致性哈希算法数据冲突处理向量时钟临时故障处理数据回传、弱quorum机制永久故障手的恢复Merkle哈希树成员资格以及错误检测基于gossip的成员资格协议和错误检测第22页/共80页一致性哈希算法第23页/共80页临时性故障处理机制弱quorum机制（W,R,N）和数据回传永久性故障后的恢复Merkle哈希树第24页/共80页A新节点种子节点B新节点CGossip协议错误检测失效停传定期检测第25页/共80页第26页/共80页亚马逊机器映像（AMI）实例（Instance）弹性块存储块（EBS）区域（Zone）通信机制安全及容错机制第27页/共80页操作对象GetPutListDeleteHead桶获取桶中对象创建或更新桶列出桶中所有键删除桶无对象获取对象数据和元数据创建或更新对象无删除对象获取对象元数据三个概念：对象、键、桶基本操作：Get、Put、List、Delete和Head第28页/共80页身份认证基于HMAC-SHA1的数字签名方式Access Key ID，Secret Access Key，服务请求字符串访问控制三类用户（owner、user、group）五类访问权限（Read，Write，Read_ACP, Write_ACP, FULL_CONTROL）第29页/共80页用户账户域1域2属性1属性2条目1值值条目2值值属性1属性2条目1值值条目2值值域3第30页/共80页基本部分：系统组件、消息、队列第31页/共80页内容推送服务CloudFront电子商务服务DevPay和FPS简单支付服务 Simple Pay土耳其机器人Alexa Web服务第32页/共80页 第33页/共80页第34页/共80页开源云计算系统商用云计算系统Hadoop HDFSGoogle GFSHadoop MapReduceGoogle MapReduceHadoop HbaseGoogle BigtableHadoop ZooKeeperGoogle ChubbyHadoop PigGoogle SawzallEucalyptus、NimbusAmazon EC2EucalyptusAmazo