大数据技术应用（国家） 知识点4：combiner详解 combiner详解.docxVIP

PAGE3 / NUMPAGES3 文档数据库MongoDB查询 Combiner详解 摘 要：了解Combiner；了解Combiner限制；了解Combiner的操作及输出结果 ；了解Combiner与Reduce区别； 关键词：Combiner； 1. Combiner简介 Combiner是一个本地化的reduce操作，它是map运算的后续操作，主要是在map计算出中间文件前做一个简单的合并重复key值的操作。 （1）网络带宽严重被占降低程序效率；（提前在map上执行分组，减少传输给reduce的数据量） （2）单一节点承载过重降低程序性能；（全在ruduce上运行，导致负载过重） 每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能。例如：对于hadoop自带的wordcount的例子，value就是一个叠加的数字，所以map一结束就可以进行reduce的value叠加，而不必要等到所有的map结束再去进行reduce的value叠加。 Combiner设置map规约Combiner，job.setCombinerClass(MyReduc，er.class);执行后看到map的输出和combine的输入统计是一致的，而combine的输出与reduce的