MapReduce模型--二次排序.pdfVIP

海数科技，数据处理专家！ 海数科技，专注 Hadoop 大数据处理、Oracle 数据库运维！ 海数科技 Hadoop 大数据处理文献 MapReduce 模型：二次排序 二次排序： 完整的二次排序具有多个层次的排序功能，可以有效提高系统的处理性能。 排序功能分别包括：排序分区、Key值排序、Key值分组 需要注意的是，这多个层次的排序功能均只能针对Key进行，而不能针对Value进行排序。在业务应用时， 尽量将需要排序的字段放到Key中去。 排序分区： 通过job.setPartitionerClass方法，可以实现对排序分区。 排序分区是针对全局的Key而言的，在全局范围内按Key中某一个或某几个字段的内容进行划分。但在数值 上，并不一定按数据值进行排序。排序分区的意义是，在全局范围内，默认情况使用Hash对Key进行排序， 并根据Key值将其放置到一个合适的分区内。 Key值排序： 通过job.setSortComparatorClass方法，可以实现Key值排序。 Key值排序是针对分区内的Key值而言，它可以配合分区，实现Key全局范围内的升序或降序排序。 Key值排序的意义是，在分区范围内，对Key的一个或多个字段按指定方式排序。 Key值分组： 通过job.setGroupingComparatorClass方法，可以实现Key值分组。 Key值分组的目的是自定义分组，使Key中具备某些条件的字段分成一组。 Key值分组的意义是控制Key的分组数量，一次组对应一次Reduce调用，并进而控制调用Reduce的次数。 需要注意，错误的Key值分组，可能引起统计等操作的数值错误。 测试数据： $ more source.txt 海数科技，数据处理专家！ 海数科技，专注 Hadoop 大数据处理、Oracle 数据库运维！ 20,A,Harvey,it,2000 20,B,Lucy,hr,2000 30,A,Jack,mkt,500 40,B,Lily,hr,5000 30,B,Jone,cio,4000 40,C,lucas,ceo,2000 20,C,Aobam,cfo,520 40,A,Baby,cho,460 40,D,hk,cdo,650 30,C,Jack,CHO,620 1、定义Key对象： public class OrderKey implements WritableComparableOrderKey{ private int age; private String city; //要进行排序的两个数据字段 private Recorder recorder; static { // Key对象必须注册比较器 WritableComparator.define(OrderKey.class, new OrderKeyComparator()); } public OrderKey(){} //必须定义空参数构造函数 public OrderKey(String key){ //字符串解析 String[] keys = key.split(,); this.age = Integer.parseInt(keys[0]); this.city = keys[1]; this.recorder = new Recorder(); this.recorder.setName(keys[2]); this.recorder.setJob(keys[3]); this.recorder.setSalary(Integer.parseInt(keys[4])); } 海数科技，数据处理专家！ 海数科技，专注 Hadoop 大数据处理、Oracle 数据库运维！ //省去set,get方法 //字符流写入 public void write(DataOutput in) throws IOException { in.writeInt(this.age); in.writeUTF(this.city); } //字符读出 public