大数据技术应用（国家）知识点5：partitioner详解partitioner详解.pptxVIP

partitioner详解 2 学习任务 了解partitioner的工作机制 了解partitioner的种类 3 知识目标 默认Hadoop分区器是什么 Hadoop共有几种分区器类型 01 能力目标 了解Partitioner的工作原理 了解Partitioner的有优势 了解Partitioner的种类 02 学习目标 4 目 录 Hadoop Partitioner 分区程序 Hadoop提供的Partitioner 种类 5 Hadoop Partitioner 分区程序 MapReduce的Partitioner分区程序控制中间映射器输出键的分区。通过散列函数，密钥（或密钥的子集）用于导出分区。分区总数取决于reduce任务的数量。 Partitioner 的作用是对 Mapper 产生的中间结果进行分片，以便将同一分组的数据交给同一个 Reducer 处理，它直接影响 Reduce 阶段的负载均衡。 6 Hadoop Partitioner 分区程序 如何使用Hadoop产生一个全局排序的文件？最简单的方法就是使用一个分区，但是该方法在处理大型文件时效率极低，因为一台机器必须处理所有输出文件，从而完全丧失了MapReduce所提供的并行架构的优势。 事实上我们可以这样做，首先创建一系列排好序的文件；其次，串联这些文件（类似于归并排序）；最后得到一个全局有序的文件。主要的思路是使用一个partitioner来描述全局排序的输出。 使用partitioner的原因 7 Hadoop Partitioner 分区程序 比方说有1000个1-10000的数据，跑10个ruduce任务， 如果我们运行进行partition的时候，能够将在1-1000中数据的分配到第一个reduce中，1001-2000的数据分配到第二个reduce中，以此类推。 即第n个reduce所分配到的数据全部大于第n-1个reduce中的数据。这样，每个reduce出来之后都是有序的了，我们只要cat所有的输出文件，变成一个大的文件，就都是有序的。 partitioner的使用例子 8 Hadoop Partitioner 分区程序 Hadoop MapReduce中的默认Hadoop分区程序是Hash Partitioner，用于计算密钥的哈希值并根据此结果分配分区。 MAX_VALUE默认使用key的hash值与上int的最大值，避免出现数据溢出。 MapReduce默认分区程序 package org.apache.hadoop.mapreduce.lib.partition; import org.apache.hadoop.mapreduce.Partitioner; public class HashPartitionerK, V extends PartitionerK, V { public int getPartition(K key, V value, int numReduceTasks) { return (key.hashCode() Integer.MAX_VALUE) % numReduceTasks; } } 9 Hadoop提供的Partitioner 种类 Partitionerk,v是partitioner的基类，如果需要定制partitioner也需要继承该类。 patition类结构 package org.apache.hadoop.mapred; @Deprecated public interface PartitionerK2, V2 extends JobConfigurable { int getPartition(K2 key, V2 value, int numPartitions); } 10 Hadoop提供的Partitioner 种类 Hadoop MapReduce中的默认Hadoop分区程序是Hash Partitioner。 计算方法是which reducer=(key.hashCode() Integer.MAX_VALUE) % numReduceTasks，得到当前的目的reducer。 Hash Partitioner package org.apache.hadoop.mapreduce.lib.partition; import org.apache.hadoop.mapreduce.Partitioner; public class HashPartitionerK, V extends PartitionerK, V { public int getPartiti