MapReduce平台优化详解.pdf

技术创新，变革未来 MapReduce平台优化详解 内容 MapReduce优化 MapReduce数据压缩 Yarn在hadoop中的位置 Yarn的优点 Yarn运行机制 MapReduce优化 MapReduce优化——Combiner MapReduce优化——Combiner MapReduce优化——Combiner Combiner介于 Mapper和Reducer之间 Combiner是Map任务的一部分 执行完 map 函数后紧接着执行combine Combiner可以看做局部的Reducer （local reducer） 一般情况下不需要单独编写Combiner Combiner在Job中的设置： MapReduce优化——Combiner Combiner优点： 减少Map Task输出的数据量 减少Shuffle网络传输的数据量 Combiner使用场景： 不是所有场景都可以用Combiner 适合于Sum()求和，并不适合Average()求平均数 0、20、10、25和15的平均数，直接使用Reduce求平均数 Average(0,20,10,25,15) ，得到的结果是14 使用Combiner分别对不同Mapper结果求平均数， Average(0,20,10)=10 ，Average(25,15)=20 再使用Reducer求平均数Average(10,20) ，得到的结果为15 MapReduce优化——Partitioner MapReduce优化——Partitioner Partitioner 处于 Map阶段 Mapper处理的数据，由Partitioner进行分区 Mapper的结果均匀分布到Reducer上面执行 Partitioner 的默认实现：hash(key) mod R 自定义Partitioner，继承Partitioner类，实现下面方法， 其中numPartitions 为 Reduce 的个数 Partitioner实例 根据成绩数据，统计出每个年龄段的男、女考生的最高分 同一年龄段的考生进入相同的Reduce MapReduce数据压缩 数据压缩目的 降低磁盘IO 降低网络IO 降低存储成本 MapReduce压缩格式比较 MapReduce中使用压缩 Map输出结果压缩 Reduce输出结果压缩 Yarn在hadoop中的位置 Yarn的优点 离线计算框架MR 流式计算框架Storm 内存计算框架Spark …… Yarn的优点 Yarn的优点 YARN把JobTracker分为ResouceManager和 ApplicationMaster ，ResouceManager专管整个集 群的资源管理和调度，而ApplicationMaster则负责 应用程序的任务调度和容错等 YARN不再是一个单纯的计算框架，而是一个框 架管理器，用户可以将各种各样的计算框架移植到 YARN之上，由YARN进行统一管理和资源分配 对于资源的表示以内存和CPU为单位，比之前 slot 更合理 Yarn运行机制 （1） YARN主要由RM、NM、AM和Container等4个组件构成 Yarn运行机制 （2） Yarn运行机制 （3） Yarn运行机制 （4） ResourceManager ： 处理客户端请求 启动和监控ApplicationMaster 监控NodeManager 资源的分配与调度 NodeManager ： 管理单个节点上的资源 处理来自ResourceManager的命令 处理来自ApplicationMaster的命令 Yarn运行机制 （5） ApplicationMaster ： 为应用程序申请资源并分配给内部的任务 