Hadoop-2.2.0使用lzo压缩文件作为输入文件.PDF

Hadoop-2.2.0使用lzo压缩文件作为输入文件 Spark大数据博客 - Hadoop-2.2.0使用lzo压缩文件作为输入文件 在 《Hadoop 2.2.0安装和配置lzo》 文章中介绍了如何基于 Hadoop 2.2.0安装lzo。里面简单介绍了如果在Hive里面使用lzo数据。今天主要来说说如何在Hadoop 2.2.0中使用lzo压缩文件当作的数据。 lzo压缩默认的是不支持切分的，也就是说，如果直接把lzo文件当作Mapreduce任务的输入 ，那么Mapreduce只会用一个Map来处理这个输入文件，这显然不是我们想要的。其实我们只需 要对lzo文件建立索引，这样这个lzo文件就会支持切分，也就可以用多个Map来处理lzo文件。我 们可以用 《Hadoop 2.2.0安装和配置lzo》 文章中编译的hadoop-lzo-0.4.20-SNAPSHOT.jar包来 对lzo文件建立索引(假如在/home/wyp/input目录下有个cite.txt.lzo文件，这个目录是在HDFS上) ： $ $HADOOP_HOMOE/bin/hadoop jar $HADOOP_HOMOE/share/hadoop/common/hadoop-lzo-0.4.20-SNAPSHOT.jar pression.lzo.DistributedLzoIndexer /home/wyp/input/cite.txt.lzo 生成出来的索引文件后缀为.index，并存放在lzo同一目录下.在本例中产生的索引文件是存放在/h ome/wyp/input目录下，名称为cite.txt.lzo.index。 我们也可以用下面的方法对lzo文件来建立索引： $ $HADOOP_HOMOE/bin/hadoop jar $HADOOP_HOMOE/share/hadoop/common/hadoop-lzo-0.4.20-SNAPSHOT.jar pression.lzo.LzoIndexer /home/wyp/input/cite.txt.lzo 这个方法和上面方法产生出来的索引文件是一样的；但是上面的方法是通过启用Mapreduce任务 来执行的，而这里的方法只在一台客户机上运行，效率很慢！ 那么，如何在Mapreduce任务中使用lzo文件。下面分别对Mapreduce程序、Streaming程序以及 Hive分别进行说明： 1、对于Mapreduce程序，我们需要把程序中所有的TextInputFormat修改为LzoTextInputFormat，如下： job.setInputFormatClass(TextInputFormat.class); 1 / 3 Hadoop-2.2.0使用lzo压缩文件作为输入文件 Spark大数据博客 - 修改为 job.setInputFormatClass(LzoTextInputFormat.class); LzoTextInputFormat类需要引入相应的包，如果你是使用pom文件，可以引入以下依赖： dependency groupIdcom.hadoop.gplcompression/groupId artifactIdhadoop-lzo/artifactId version0.4.19/version /dependency 如果你的输入格式不是LzoTextInputFormat类，那么Mapreduce程序将会把.index文件也当作是 数据文件！修改完之后，需要重新编译你的Mapreduc程序。这样在运行Mapreduce程序的时候 ，将lzo文件所在的目录当作输入即可，Mapreduce程序会识别出.index文件的： $ /home/q/hadoop-2.2.0/bin/hadoop jar statistics2.jar com.wyp.Sts -Dmapreduce.job.queuename=que