云计算之分布式计算.pptx

云计算之分布式计算内容背景分布式计算批量计算(非实时计算)实时计算技术趋势内容背景分布式计算批量计算(非实时计算)实时计算技术趋势大数据时代移动互联网时代物联网互联网移动互联网信息时代早期：Google现在：Facebook未来：？？大数据时代2009年加州大学研究报告《多少信息？》34GB：2008年每个美国人每天平均信息消费12TB： 2008年每个美国人平均年信息消费总量3.6ZB：2008年美国人年信息消费总量大数据时代2011年IDC研究报告《 Extracting Value from Chaos 》1.8ZB：2011年全球被创建和被复制的数据总量50%：数据年增长率2年：数据量翻番大数据时代2012年《纽约时报》称“大数据时代”已经降临，决策行为将日益基于数据和分析而作出，而并非基于经验和直觉。这不是简单的数据增多的问题，而是全新的问题。分布式环境内容背景分布式计算批量计算(非实时计算)实时计算技术趋势Google批量处理MapReduce：海量数据离线计算框架Pregel：迭代计算框架增量处理（准实时计算）Percolator：数据增量更新系统Dremel：数据分析系统Tenzing：SQL查询引擎Google ApacheGoogleApache文件系统GFSHDFS分布式数据库BigTableHBase批量计算框架MapReduceMapReduce迭代计算框架PregelHamaSQL查询引擎TenzingHiveGoogle Apache查询引擎：Tenzing/Hive 计算框架：MapReduce/ Pregel/Hama 数据管理：BigTable/HBase数据存储：GFS/HDFS 离线计算——Google数据： PB量级应用：数以百计爬虫文档Web日志倒排索引问题计算并行数据分发错误处理离线计算——Google2003年Google提出MapReduce批量计算框架抽象模型MapReduce用户只需要考虑如何对数据进行逻辑处理，而不需要考虑以下细节：并行化容错数据分布负载均衡MapReduce工作流程统计天气预报中每个字出现的次数MasterSlaveSlaveSlave今天多云转阵雨昨天小雨转多云明天小雨转中雨MapReduce工作流程MasterMap计算处理昨天的处理今天的处理明天的SlaveSlaveSlave小1雨1转1多1云1多1云1转1阵1雨1小1雨2转1中1今天多云转阵雨昨天小雨转多云明天小雨转中雨MapReduce工作流程MasterReduce计算划分统计“小” “中”“多”统计“雨” “云”统计“转” “阵”SlaveSlaveSlave小1雨1转1多1云1多1云1转1阵1雨1小1雨2转1中1MapReduce工作流程MasterReduce数据传输多1小1中1雨2转1阵1雨1云1小1多1转1云1雨1Slave转1SlaveSlave雨1云1多1雨2转1阵1小1中1转1MapReduce工作流程Master任务完成Reduce计算统计任务完成统计任务完成统计任务完成SlaveSlaveSlave小1，1多1，1中1小2多2中1云1，1雨1，1，2云2雨4转3阵1转1，1，1阵1并行定理Amdahl’s Law: 对于工作量为1的问题，若子问题的最大工作量为f，那么并行加速比不超过1/f。洗开水壶(1分钟)洗茶壶(3分钟)拿茶叶(2分钟)泡茶(2分钟)烧开水(15分钟)洗茶杯(2分钟)并行定理Amdahl’s Law: 对于工作量为1的问题，若子问题的最大工作量为f，那么并行加速比不超过1/f。洗开水壶(1分钟)烧开水(15分钟)洗茶壶(3分钟)泡茶(2分钟)洗茶杯(2分钟)1+15+2=18分钟拿茶叶(2分钟)并行定理Gustafson’s Law: 解决问题的时间是存在界限的，但是在这个时间内可以通过增加处理单元处理多个同类问题，加速比与处理器数目近似线性关系.技术分析Perfect：搜索类80%的计算缺点：处理有向图模型的算法效率很低有向无环图迭代模型执行2执行1执行4执行3迭代计算——Google迭代计算PageRank计算图遍历最短路径迭代计算——Google2010年Google推出Pregel迭代计算框架BSP模型显示同步模型SuperStep计算与通讯分离Pregel工作流程Node1Node4Node3619Node5Node253Node7Node646Pregel工作流程选取图中权值最大的节点作leaderMasterSlaveSlaveSlavePregel工作流程N4N3N1Master9Step0：计算163N245N6处理Node1，2，3N76N5处理Node4，5处理Node6，7SlaveSlaveSlaveNode1：[6]（