大规模分布式计算.pptVIP

Hadoop MapReduce:分布式计算框架 语言支持 Java C++ (through pipes) script languages (through streaming) 调度模型 tasks jobs groups MapReduce Hadoop 编写MapReduce逻辑 Java mapper/reducer/combiner partitioner inputformat/outputformat Streaming 高级语言实现 Hive Pig MapReduce Hadoop 总结 总结 大规模分布式计算 MapReduce和Hadoop 数据平台与产品部 少杰 变化正在进行… Agenda 分布式计算 需求：大规模数据 为什么使用分布式？ 分布式计算 需求：成本？ 为什么使用分布式？ 分布式计算 并行化的尝试 在硬件工艺/技术不变的前提下，提升计算能力 更强大的硬件 对称多处理器SMP 分布式共享内存DSM 分布式系统 Share disk Share nothing A brief history 分布式计算 互联网应用的特殊性 I/O操作强于计算操作 复杂异构的机器环境 变化的业务逻辑 新需求 分布式计算 MapReduce 分布式编程模型 互联网应用的大规模数据计算解决方案 MapReduce 分布式计算 MapReduce的优势 简单一致性模型 本地I/O优化 扩展性 Why MapReduce wins? 分布式计算 应用现状 数据分析、报表 索引 商业智能服务 规模 淘宝 现状 分布式计算 总结 总结 分布式计算 BREAK MapReduce编程模型 游戏 什么是MapReduce？ 分布式编程模型 What is MapReduce? MapReduce编程模型 MapReduce 语义 Map：映射，空间变换 Reduce：汇总，规约 MapReduce methodology MapReduce编程模型 MapReduce key, value数据结构 map (in_key, in_value) - list(out_key, intermediate_value) reduce (out_key, list(intermediate_value)) - list(out_value) 分布式算法的核心内容 MapReduce methodology MapReduce编程模型 系统视图 系统考量 容灾 扩展性 并行能力 … Master-slave结构 A systematic view MapReduce编程模型 系统视图 计算消耗 网络I/O 磁盘I/O 排序 Map/Reduce计算 A systematic view MapReduce编程模型 系统视图 并行能力 子任务间并行 M/R任务间并行 作业间并行 A systematic view MapReduce编程模型 范例 web点击日志统计：PV / UV 词频统计 海量数据排序 表Join Discuss MapReduce编程模型 MapReduce能做？ 日志分析 商业智能分析 客户营销 大规模索引 … MapReduce不能： 在线应用 复杂依赖逻辑（循环、递归？） MapReduce的数据倾斜问题 What MapReduce can do can’t do MapReduce编程模型 总结 总结 MapReduce编程模型 Break Hadoop 开源分布式系统实现 系统栈 What is? 系统 Hadoop组件 Mimic of？ 文件系统（DFS） HDFS GFS MapReduce计算框架 MapReduce MapReduce 锁服务 ZooKeeper Chubby RPC Avro ProtocolBuffer* 高级语言/工作流支持 Hive/Pig/Cascading Sawzaw* 实时（KV）存储 HBase/HyperTable BigTable Hadoop Hadoop的历史 2003 Google发表有关MapReduce论文 2005 Nutch迁移到MapReduce实现 2006.1 Doug Cutting加入Yahoo！ 2006.2 Yahoo从Nutch中剥离出 MapReduce并开始使用Hadoop 2007.1 Yahoo组建1000+节点的Hadoop集群 2008.1 Hadoop成为Apache TLP Hadoop: a brief history Hadoop HDFS:分布式文件系统 设计原则 硬件错误是常态而不是异常 流式数据访问 大规模数据集 简单的一致性模型 “移动计算比移动数据更划算” 异构软硬件平台间