大数据技术应用(国家) 知识点4:combiner详解 combiner详解.docxVIP

  • 13
  • 0
  • 约3.48千字
  • 约 5页
  • 2021-01-17 发布于北京
  • 举报

大数据技术应用(国家) 知识点4:combiner详解 combiner详解.docx

PAGE3 / NUMPAGES3 文档数据库MongoDB查询 Combiner详解 摘 要:了解Combiner;了解Combiner限制;了解Combiner的操作及输出结果 ;了解Combiner与Reduce区别; 关键词:Combiner; 1. Combiner简介 Combiner是一个本地化的reduce操作,它是map运算的后续操作,主要是在map计算出中间文件前做一个简单的合并重复key值的操作。 (1)网络带宽严重被占降低程序效率;(提前在map上执行分组,减少传输给reduce的数据量) (2)单一节点承载过重降低程序性能;(全在ruduce上运行,导致负载过重) 每一个map都可能会产生大量的本地输出,Combiner的作用就是对map端的输出先做一次合并,以减少在map和reduce节点之间的数据传输量,以提高网络IO性能。例如:对于hadoop自带的wordcount的例子,value就是一个叠加的数字,所以map一结束就可以进行reduce的value叠加,而不必要等到所有的map结束再去进行reduce的value叠加。 Combiner设置map规约Combiner,job.setCombinerClass(MyReduc,er.class);执行后看到map的输出和combine的输入统计是一致的,而combine的输出与reduce的

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档