一种基于MapReduce生成HFile格式文件HBase入库方法.docVIP

一种基于MapReduce生成HFile文件入库方法 1、方案名称 一种基于MapReduce生成HFile格式文件的HBase入库方法。 本方案涉及hbase、hadoop、云计算及电信计费详单管理领域。 3.1、方案一：JAVA客户端用HtablePool入库 HBase提供JAVA客户端，其可使用HtablePool方式入库，其性能如下： 线程数 客户端缓存 v-length 总记录数（条） 总时间（毫秒） 条/秒 50 1 1M 1000 1000 3870 258.4 100 1 1M 500 1000 4884 204.75 200 1 1M 250 1000 8928 112.01 50 2 1M 1000 2000 3895 513.48 100 2 1M 500 2000 6271 318.93 200 2 1M 250 2000 10232 195.47 3.2、方案二：JAVA客户端使用HTable入库 HBase提供JAVA客户端，其可使用HTable方式入库，其性能如下： 随着线程数的增加，写入效率随之提高；对于单条提交的情况提高明显，对于客户端有缓存的情况影响不大； 设置客户端缓存后，写入效率明显提高； 随着运行客户端个数的增加，写入效率提高不明显，还存在降低的情况。 最优结果：客户端缓存2M，单客户端，5个线程，一个客户端每秒写入速度达14124条。 三列写入： 随着线程数的增加，写入效率随之明显提高； 设置客户端缓存后，写入效率有所提高，但是缓存越大写入效率反而降低； 随着运行客户端个数的增加，写入效率提高不明显，还存在降低的情况。 最优结果：客户端缓存2M，单客户端，10个线程，一个客户端每秒写入速度达3030条。 多列写入： htable 测试性能 说明 设为 缓存大小设为 多线程跑： 每条记录大小 多列入库测试 列 列 列 入库数量 花费时间（） 花费时间（） 花费时间（） 10000 637 15.70 1140 8.77 2266 4.41 3.3、方案三：HBase详单存储程序(c客户端) 基于HBase C客户端开发的详单存储测试场景准备文件，放置指定目录，模拟计费话单[demoe3base@kf-app1 hbaseclient]$ ll data总用量 57730-rw-rw-r-- 1 demoe3base demoe3base 1096998 6月 25 10:21 mes1000.info-rw-rw-r-- 1 demoe3base demoe3base 1700348 6月 25 10:20 mes1550-2.info-rw-rw-r-- 1 demoe3base demoe3base 1700348 6月 25 10:20 mes1550.info-rw-rw-r-- 1 demoe3base demoe3base6月 25 10:43 mes15562.info-rw-rw-r-- 1 demoe3base demoe3base 32908 6月 25 10:23 mes30.info-rw-rw-r-- 1 demoe3base demoe3base6月 25 10:27 mes33440.info-rw-rw-r-- 1 demoe3base demoe3base 823845 6月 25 10:21 mes751.info 测试程序从该目录循环读入每一个文件，循环从文件中读每一行记录，单列写E3base测试：列数据为，读取文件的行记录双列写E3base测试：一列数据为，读取文件的行记录；二列数据为20位长度的时间序号。每个文件处理完，提交一次。写E3base都使用缓存接口。 安徽环境测试结果： 单列写:events: 107766 ,time: 32.000000 tps:3330.000000events: 107766 ,time: 31.000000 tps:3476.322580双列写：events: 107766 ,time: 65.000000 tps:1646.271845events: 107766 ,time: 63.000000 tps:1708.169212北京环境测试结果：单列写:events: 107766 ,time: 29.000000 tps:3716.068966events: 107766 ,time: 29.000000 tps:3716.068966双列写：events: 107766 ,time: 103.000000 tps:1046.271845events: 107766 ,time: