大规模分布式计算.pptVIP

大规模分布式计算MapReduce和Hadoop数据平台与产品部少杰变化正在进行…AgendaPART1分布式计算需求：大规模数据为什么使用分布式？分布式计算需求：成本？为什么使用分布式？分布式计算并行化的尝试在硬件工艺/技术不变的前提下，提升计算能力更强大的硬件对称多处理器SMP分布式共享内存DSM分布式系统SharediskSharenothingAbriefhistoryI/O操作强于计算操作复杂异构的机器环境变化的业务逻辑新需求分布式计算互联网应用的特殊性分布式计算MapReduceMapReduce分布式编程模型互联网应用的大规模数据计算解决方案分布式计算WhyMapReducewins?MapReduce的优势简单一致性模型本地I/O优化扩展性分布式计算01应用现状数据分析、报表索引商业智能服务02规模单击此处添加正文，文字是您思想的提炼，请尽量言简意赅地阐述观点。03淘宝现状分布式计算总结总结202X分布式计算BREAKMapReduce编程模型游戏什么是MapReduce？分布式编程模型WhatisMapReduce?MapReduce编程模型MapReducemethodologyMapReduce语义Map：映射，空间变换Reduce：汇总，规约MapReduce编程模型MapReducemethodologyMapReducekey,value数据结构添加标题map(in_key,in_value)-list(out_key,intermediate_value)添加标题reduce(out_key,list(intermediate_value))-list(out_value)分布式算法的核心内容添加标题系统视图系统考量容灾扩展性并行能力…Master-slave结构AsystematicviewMapReduce编程模型MapReduce编程模型系统视图计算消耗网络I/O磁盘I/O排序Map/Reduce计算AsystematicviewMapReduce编程模型系统视图并行能力子任务间并行M/R任务间并行作业间并行AsystematicviewMapReduce编程模型范例web点击日志统计：PV/UV词频统计海量数据排序表JoinDiscussMapReduce编程模型MapReduce能做？日志分析商业智能分析客户营销大规模索引…MapReduce不能：在线应用复杂依赖逻辑（循环、递归？）MapReduce的数据倾斜问题WhatMapReducecandocan’tdoMapReduce编程模型总结总结