hadoop集群内lzo的安装与配置.docVIP

hadoop集群内lzo的安装与配置 hadoop集群内lzo的安装与配置操作系统：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4?? 安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖?? 配置lzo的文件：core-site.xml、mapred-site.xml大致步骤：1）安装和更新gcc、ant2）在各个节点安装lzo3）安装lzo编码/解码器4）修改配置文件，并同步各节点的配置文件注：没有特别指出的话，所有操作都是在Namenode中进行的一、lzo库安装：1、gcc的安装：yum即可，记得同时更新lib*、glibc*、gcc*2、ant的安装：?? 删除旧版本：yum remove ant?? 安装新版本：?? wget /apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz?? tar zxvf apache-ant-1.8.2-bin.tar.gz? ?? 所需软件包：gcc、ant、lzo-2.04.tar.gz、lzo2-2.02-3.el5.rf.x86_64.rpm、lzo2-devel-2.02-3.el5.rf.x86_64.rpm。wget /repos/redhat/el5/en/x86_64/RPMS.dag/lzo2-2.02-3.el5.rf.x86_64.rpmwget /repos/redhat/el5/en/x86_64/RPMS.dag/lzo2-devel-2.02-3.el5.rf.x86_64.rpm安装lzo2-2.02-3.el5.rf.x86_64.rpm、lzo2-devel-2.02-3.el5.rf.x86_64.rpm。# rpm -ivh lzo2-2.02-3.el5.rf.x86_64.rpm# rpm -ivh lzo2-devel-2.02-3.el5.rf.x86_64.rpmlzo编码/解码器的安装这里必须要说明：如果hadoop是cloudera版的，那么lzo编码/解码器就不要用google官方的那个！到这里下载：/kevinweil/hadoop-lzo下载文件kevinweil-hadoop-lzo-23e8370.tar.gz# tar zxvf kevinweil-hadoop-lzo-23e8370.tar.gz# cd kevinweil-hadoop-lzo-23e8370#export CFLAGS=-m64#ant compile-native tar编译成功后，还需要把编码/解码器以及native库拷贝到$HADOOP_HOME/lib目录下# cp build/hadoop-lzo-0.4.13.jar /usr/local/hadoop/lib/#tar -cBf - -C build/native . | tar -xBvf - -C /usr/local/hadoop/lib/native# cd /usr/local/hadoop/lib/# chown -R hadoop:hadoop native/同步各节点的hadoop-lzo-0.4.10.jar和hadoop的native目录配置lzo：?? 1、主要是往hadoop目录下conf目录中的core-site.xml和mapred-site.xml文件添加一些属性：vi core-site.xml 添加配置propertynamepression.codecs/namevaluepress.GzipCodec,press.DefaultCodec,pression.lzo.LzoCodec,pression.lzo.LzopCodec,press.BZip2Codec/value/propertypropertynamepression.codec.lzo.class/namevaluepression.lzo.LzoCodec/value/propertyvi mapred-site.xml：propertynamepress/namevaluetrue/value/propertypropertynamemapred.child.env/namevalueJAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native/Linux-amd64-64/value/propertypropertynamepress.codec/namevaluepre