Hadoop安装与部署LZO压缩.docVIP

Hadoop安装和部署LZO压缩 1前提 因为安装Lzo及Lzop需要本地编译，所以需要安装编译环境，像Gcc , Ant , Maven gcc的安装 主要是后面编译Lzo时用到，如果有安装就略过 yum install lib* glibc* gcc* Ant、Maven的安装 如果使用Twitter的hadoop-lzo只需要安装Maven就行，如果使用kevinweil的hadoop-lzo则需要安装Ant,并且最好1.8.2及以上版本，并设置好环境变量,两者选其一，安装都比较简单。 ant的安装 删除旧版本：yum remove ant 安装新版本： wget /apache-mirror//ant/binaries/apache-ant-1.9.2-bin.tar.gz tar -jxvf apache-ant-1.9.2-bin.tar.bz2 添加ANT环境变量： vi /etc/profile.d/dev.sh export ANT_HOME=/usr/local/apache-ant-1.9.2 export PATH=$PATH:$ANT_HOME/bin source /etc/profile #使配置文件生效 Maven安装 maven安装与Ant安装差不多，解压，然后配置环境变量，如： wget /dist/maven/binaries/apache-maven-2.2.1-bin.tar.gz export MAVEN_HOME=/opt/modules/apache-maven-2.2.1 export PATH=$MAVEN_HOME/bin:$PATH 说明：$MAVEN_HOME/conf/setting.xml文件需要配置正常的仓库路径，以及本地路径。 yum install *lzo* 2安装lzo 操作如下： wget /opensource/lzo/download/lzo-2.06.tar.gz export CFLAGS=-m32 ./configure -enable-shared make make install 完成之后，lib库文件被默认安装到了/usr/local/lib，我们需要进一步指定lzo库文件的路径，两个方法都可以： 1)拷贝/usr/local/lib目录下的lzo库文件到/usr/lib（32位平台），或/usr/lib64（64位平台） 2)在/etc/ld.so.conf.d/目录下新建lzo.conf文件，只需写入lzo库文件的路径(/usr/local/lib)，然后运行以下命令使配置生效： /sbin/ldconfig -v 3安装lzop LZOP是使用lzo库写的一个程序，通过shell命令直接可以压缩、解压缩文件。 #下载 Wget /download/lzop-1.03.tar.gz #解压缩、进入项目目录（略过） ./configure make make install 用一下lzop的压缩解压功能,成功安装后可直接使用lzop命令对文件进行解压缩操作了。 # 压缩 lzoplog #生成lzoplog.lzo文件 # 解压，并输出文件内容 lzop -cdpv.txt.lzo |more 4安装hadoop-lzo 提醒：lzo目前有大概2个版本可选，Hadoop 1.x的时候可以按照cloudera的文档在/kevinweil/hadoop-lzo上编译，它是fork自/twitter/hadoop-lzo。kevinweil这个版本在hadoop1.0.3上不适用，有些接口已经不能用了。因为kevinweil这个版本已经很久没有更新了，而且它是基于Hadoop 0.20去编译的，也不能用于Hadoop2.x。而twitter hadoop-lzo在最近将Ant的编译方式切换为Maven，默认的dependency中Hadoop jar包就是2.x的，所以要clone twitter的hadoop-lzo，用Maven编译jar包和native library。 参考： /blog/2009/11/hadoop-at-twitter-part-1-splittable-lzo-compression/ /a//p/hadoop-gpl-compression/wiki/FAQ?redir=1 1.下载源码 /kevinweil/hadoop-lzo 或 /twitter/hadoop-lzo 2.解压缩、进入项目目录 略 3.编译 编译分kevi