google云计算-研究院 黄兵.pptVIP

* 单词计数 体现M/R算法 Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech 输入数据： MapReduce Hello ：3 Bye ：3 China ：2 World ：2 Si-tech：2 Map(Key,Value) { for( each world ‘world’ in value) collect(‘world’,1); } Reduce(Key,Value[ ]) { int count = 0; for(each w in value) count ++; collect(Key,count); } 1) * Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech 2) 分割 分割 分割 Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech KEY VALUE KEY VALUE KEY VALUE 3) Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech MAP MAP MAP Hello 1 World 1 Bye 1 World 1 Hello 1 China 1 Bye 1 China 1 Hello 1 Si-tech 1 Bye 1 Si-tech 1 * Hello 1 World 1 Bye 1 World 1 Hello 1 China 1 Bye 1 China 1 Hello 1 Si-tech 1 Bye 1 Si-tech 1 4) Map输出 Fold Hello 1 World 1 Bye 1 World 1 Hello 1 China 1 Bye 1 China 1 Hello 1 Si-tech 1 Bye 1 Si-tech 1 Fold输出 * Hello 3 Bye 3 China 2 World 2 Si-tech 2 Hello 1 World 1 Bye 1 World 1 Hello 1 China 1 Bye 1 China 1 Hello 1 Si-tech 1 Bye 1 Si-tech 1 Fold输出 5) Reduce输出 Reduce MapReduce容错机制 背景 MapReduce设计初衷：由普通PC组成的集群来处理超大规模的数据，所以有效的错误保障机制是必不可少 Worker容错 Master周期性的ping每个worker Master容错 Master周期性的将Master的数据结构的写入磁盘，即检查点（checkpoint） Master数据结构包括: Map和Reduce任务的状态（空闲、工作中或完成)，以及Worker机器(非空闲任务的机器)的标识。 * Google云计算原理 Google云计算应用 MapReduce BigTable GFS Chubby * * 初识云计算 1 Google云计算原理 2 GAE平台部署云服务 3 提 纲 TM Forum 对云态度 4 * GAE部署云应用 * 初识云计算 1 Google云计算原理 2 GAE平台部署云服务 3 提 纲 TM Forum 对云态度 4 TMF See Sunny Future In Tele Management World American * TMF简介 1、电信管理论坛 ,非盈利联盟组织 2、会员遍布全球195个国家，700+会员公司 3、我们公司也是会员，享受会员权利 4、业界广泛使用的eTOM,SID,TAM,NGOSS TMF最新框架技术 结束语 云计算的出现并快速发展，一方面是虚拟化技术、分布式计算等技术发展的结果， 另一方面也是互联网应用不断丰富趋势的体现。目前，虽然有Amazon、Google、IBM、Microsoft等在推，但云计算还没有一个统一的标准。 云计算平台已经为很多用户所使用， 但是云计算在行业标准、数据安全、服务质量、应用软件等方面也面临着各种问题，这些问题的解决需要技术的进一步发展。 现有的研究大多集中于云体系结构、云存储、云数据管理、虚拟化、云安全、编程模型等技术 * * 云计算 * 首页面 * EC2:（Elastic Computing Cloud）弹性计算云 S3 :（Simple Storage Service） 简单存储服务 * 其实Google G