Hadoop怎样实现二次排序?.pdfVIP

  • 2
  • 0
  • 约小于1千字
  • 约 1页
  • 2021-11-30 发布于江苏
  • 举报
问题分析 即对key和value 双排序。默认情况下,Map输出的结果会对Key进行默认的排 序,但有时候需要对Key排序的同时还需要对Value进行排序,这时候就要用到 二次排序了。 核心答案讲解 有两种方法进行二次排序,分别为:bufferandinmemorysort 和value-to- keyconversion。 bufferandinmemorysort 主要思想:在reduce()函数中,将某个key对应的所有value 保存到内存中,然后 进行排序。这种方法的缺:可能会造成outofmemory。 value-to-keyconversion 主要思想

文档评论(0)

1亿VIP精品文档

相关文档