提高Hadoop的計算开发效率.docxVIP

提高Hadoop的计算开发效率 问题——Hadoop开发效率低 Hadoop是优秀的大数据解决方案，低成本和高扩展性是用户选择它的主要原因，但它低下的开发效率也常被用户所诟病。 Hadoop使用MapReduce框架进行大数据的开发和计算，进行简单的计算时问题并不会显露出来。一旦计算稍有难度，就会明显影响开发效率。 以“关联计算”这种最常见的计算为例。 例如：HDFS上有2个文件，分别是客户信息和订单信息，customerID是它们之间的关联字段。如何进行关联计算，以便将客户名称添加到订单列表中？ 一般方法是：输入2个源文件。根据文件名在Map中处理每条数据，如果是Order，则在foreign key上加标记”O”，形成combined key；如果是Customer则做标记”C”。Map之后的数据按照key分区，再按照combined key分组排序。最后在reduce中合并结果再输出。 实现代码： public static class JMapper extends MapperLongWritable, Text, TextPair, Text { //mark every row with O or C according to file name @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String pathName = ((FileSplit) context.getInputSplit()).getPath().toString(); if (pathName.contains(order.txt)) {//identify order by file name String values[] = value.toString().split(\t); TextPair tp = new TextPair(new Text(values[1]), new Text(O));//mark with O context.write(tp, new Text(values[0] + \t + values[2])); } if (pathName.contains(customer.txt)) {//identify customer by file name String values[] = value.toString().split(\t); TextPair tp = new TextPair(new Text(values[0]), new Text(C));//mark with C context.write(tp, new Text(values[1])); } } } public static class JPartitioner extends PartitionerTextPair, Text { //partition by key, i.e. customerID @Override public int getPartition(TextPair key, Text value, int numParititon) { return Math.abs(key.getFirst().hashCode() * 127) % numParititon; } } public static class JComparator extends WritableComparator { //group by muti-key public JComparator() { super(TextPair.class, true); } @SuppressWarnings(unchecked) public int compare(WritableComparable a, WritableComparable b) { TextPair t1 = (TextPair) a; TextPair t2 = (TextPair) b; return t1.getFirst().compareTo(t2.getFirst());