尚学堂hadop大数据培训BulkLoad 实现数据快速入库尚学堂hadoop大数据培训BulkLoad 实现数据快速入库.doc

北京尚学堂提供 1、为何要?BulkLoad 导入？传统的?HTableOutputFormat 写 HBase 有什么问题？ 我们先看下 HBase 的写流程： 通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式，在reduce中直接生成put对象写入HBase，该方式在大数据量写入时效率低下（HBase会block写入，频繁进行flush，split，compact等大量IO操作），并对HBase节点的稳定性造成一定的影响（GC时间过长，响应变慢，导致节点超时退出，并引起一系列连锁反应），而HBase支持 bulk load 的入库方式，它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile数据格式文件，然后上传至合适位置，即完成巨量数据快速入库的办法。配合mapreduce完成，高效便捷，而且不占用region资源，增添负载，在大数据量写入时能极大的提高写入效率，并降低对HBase节点的写入压力。通过使用先生成HFile，然后再BulkLoad到Hbase的方式来替代之前直接调用HTableOutputFormat的方法有如下的好处：（1）消除了对HBase集群的插入压力（2）提高了Job的运行速度，降低了Job的执行时间目前此种方式仅仅适用于只有一个列族的情况，在新版 HBase 中，单列族的限制会消除。 2、bulkload?流程与实践 bulkload 方式需要两个Job配合完成：?（1）第一个Job还是运行原来业务处理逻辑，处理的结果不直接调用HTableOutputFormat写入到HBase，而是先写入到HDFS上的一个中间目录下（如 middata）?（2）第二个Job以第一个Job的输出（middata）做为输入，然后将其格式化HBase的底层存储文件HFile?（3）调用BulkLoad将第二个Job生成的HFile导入到对应的HBase表中 下面给出相应的范例代码： 001 import?java.io.IOException; 002 ? 003 import?org.apache.hadoop.conf.Configuration; 004 import?org.apache.hadoop.fs.Path; 005 import?org.apache.hadoop.hbase.HBaseConfiguration; 006 import?org.apache.hadoop.hbase.KeyValue; 007 import?org.apache.hadoop.hbase.client.HTable; 008 import?org.apache.hadoop.hbase.client.Put; 009 import?org.apache.hadoop.hbase.io.ImmutableBytesWritable; 010 import?org.apache.hadoop.hbase.mapreduce.HFileOutputFormat; 011 import?org.apache.hadoop.hbase.mapreduce.KeyValueSortReducer; 012 import?org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles; 013 import?org.apache.hadoop.hbase.util.Bytes; 014 import?org.apache.hadoop.io.IntWritable; 015 import?org.apache.hadoop.io.LongWritable; 016 import?org.apache.hadoop.io.Text; 017 import?org.apache.hadoop.mapreduce.Job; 018 import?org.apache.hadoop.mapreduce.Mapper; 019 import?org.apache.hadoop.mapreduce.Reducer; 020 import?org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 021 import?org.apache.hadoop.mapreduce.lib.input.TextInputFormat; 022 import?org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 023 imp