TDH大数据平台培训_第04讲_分布式计算框架.pdfVIP

分 布 式 计 算 框 架 范 颖 捷 | 2018.04 星 环 科 技 星 环 科 技 1 MapReduce 目录 CONTENTS 2 Spark 1 chapter MapReduce  简介  编程模型  任务管理与诊断 1.1 MapReduce简介 MapReduce  起源 • 2004年10月Google发表了MapReduce论文 • 设计初衷：解决搜索引擎中大规模网页数据的并行处理 •Hadoop MapReduce是Google MapReduce 的开源实现 •MapReduce是Apache Hadoop 的核心子项目  什么是MapReduce • 面向批处理的分布式计算框架 • 一种编程模型 • 一个MapReduce程序分为Map （映射）阶段和Reduce （化简）阶段  核心思想 • 分而治之，分布式计算 • 移动计算，而非移动数据 星 环 科 技 1.1 MapReduce简介 MapReduce  特点 • 计算跟着数据走 • 良好的扩展性：计算能力随着节点数增加，近似线性递增 • 高容错性 • 状态监控 • 适合于海量数据的离线批处理 • 降低了分布式编程的门槛 星 环 科 技 1.1 MapReduce简介 MapReduce  适用场景 • 数据统计，如网站的PV 、UV统计 • 搜索引擎构建索引 • 海量数据查询 • 复杂数据分析算法实现  不适用场景 • 实时计算 －能够在毫秒或秒级内返回结果 • 流计算 －输入数据集是静态的，不能动态变化 •DAG计算（有向无环图） －多个作业间存在依赖关系，后一个的输入是前一个的输出 星 环 科 技 1.2 MapReduce编程模型 MapReduce  示例：WordCount 星 环 科 技 1.2 MapReduce编程模型：基本概念 MapReduce  Job Task （作业和任务 ） • 作业是客户端请求执行的一个工作单元 －包括输入数据、MapReduce程序、配置信息 • 任务是将作业分解后得到的细分工作单元 －分为Map任务和Reduce任务  Split （切片 ） • 输入数据被划分成等长的小数据块，称为输入切