8云计算教学概论.pptVIP

主讲人：刘鹏;;大气“云”、星系“云” 亚马逊弹性计算“云”EC2 将闲置资源出租利用 “云”计算的核心思想 计算、服务在“云”端 ;云计算的定义;云计算的类别;IaaS(以基础设施为服务);AWS的应用案例——SmugMug;PaaS(以平台为服务);SaaS(以软件为服务);SaaS(以软件为服务);;典型云计算技术方案;亚马逊云计算AWS（Amazon Web Service）;Amazon云计算;Amazon云计算;简单存储服务S3（Simple Storage Service）;EC2（Elastic Compute Cloud） 简言之，EC2就是一部具有无限采集能力的虚拟计算机，用户能够用来执行一些处理任务。;Amazon云计算;实例Instance：用户创建好AMI后，实际运行的系统;简单队列服务SQS（Simple Queue Service）;总结——AWS的结合使用;Google云计算平台技术架构 文件存储，Google Distributed File System，GFS 并行数据处理MapReduce 分布式锁Chubby 结构化数据表BigTable;将文件划分为若干块（Chunk）存储 每个块固定大小（64M） 通过冗余来提高可靠性 每个数据块至少在3个数据块服务器上冗余 通过单个master来协调数据访问、元数据存储 结构简单，容易保持元数据一致性 无缓存 Why? ;不缓存数据 GFS的文件操作大部分是流式读写，不存在大量的重复读写，使用Cache对性能提高不大 从可行性看，Cache与实际数据的一致性维护也极其复杂 ;Google文件系统(GFS);超过50个GFS集群 每个集群包含数千个存储节点 管理着PB(1015Byte)级的数据;什么样的问题适合并行计算？ 如果有大量结构一致的数据要处理，且数据可以分解成相同大小的部分， 那我们就可以设法使这道处理变成并行;案例：单词记数问题(Word Count) 给定一个巨大的文本（如1TB），如何计算单词出现的数目？;使用MapReduce求解该问题 定义Map和Reduce函数;使用MapReduce求解该问题 Step 1: 自动对文本进行分割;使用MapReduce求解该问题 Step 2:在分割之后的每一对key,value进行用户定义的Map进行处理，再生成新的key,value对;使用MapReduce求解该问题 Step 3:对输出的结果集归拢、排序(系统自动完成）;使用MapReduce求解该问题 Step 4:通过Reduce操作生成最后结果;主要用于解决分布式一致性问题 在一个分布式系统中，有一组的Process，它们需要确定一个Value。于是每个Process都提出了一个Value，一致性就是指只有其中的一个Value能够被选中作为最后确定的值，并且当这个值被选出来以后，所有的Process都需要被通知到 粗粒度的分布式锁服务 Chubby是Google为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统 ;Paxos 构架;为什么需要设计BigTable？ Google需要存储的数据种类繁多 网页，地图数据，邮件…… 如何使用统一的方式存储各类数据？ 海量的服务请求 如何快速地从海量信息中寻找需要的数据？ BigTable：基于GFS和Chubby的分布式存储系统 对数据进行结构化存储和管理 ;数据存储可靠性 高速数据检索与读取 存储海量的记录（若干TB） 可以保存记录的多个版本;总体上，与关系数据库中的表类似;总体上，与关系数据库中的表类似;;云计算的经济性;云计算的特点;云计算将计算变成了大众用得上和用得起的“水和电”;谢谢大家！