4.2.2MapReduce计数器的基本原理(二）.pptxVIP

《大数据平台部署与运维》《大数据平台部署与运维》课程组计数器的基本原理

拉取拷贝（fetchcopy）Reduce任务通过向各个Map任务拉取对应分片。这个过程都是以Http协议完成，每个Map节点都会启动一个常驻的HTTPserver服务，Reduce节点会请求这个HttpServer拉取数据，这个过程完全通过网络传输，所以是一个非常重量级的操作。

合并排序Reduce端，拉取到各个Map节点对应分片的数据之后，会进行再次排序，排序完成，结果丢给Reduce函数进行计算。

HadoopMapReduce——Combiner组件如单词统计问题，若有1亿个单词，就会传输1亿个键值对，合理的使用Combiner可以减少键值对的网络传输，提示效率。Combiner发生在map端，通常与reduce有相同的实现Combiner一般适用于求和，求最大值或最小值，不适用与求平均值声明Combiner类的时候必须继承Reducer

HadoopMapReduce——Combiner组件

HadoopMapReduce–Combiner Mapper-outReducer-inCombinerKeyValue0Thisismy10Whatisthat21AndWhatifKeyValueThis1Is1M