HDFS+MapReduce+Hive十分钟快速入门..docVIP

HDFS+MapReduce+Hive十分钟快速入门 2009-8-19 前言 本文的目的是让一个从未接触Hadoop的人，在很短的时间内快速上手，掌握编译、安装和简单的使用。 Hadoop家族 截止2009-8-19日，整个Hadoop家族由以下几个子项目组成： 成员名 用途 备注 Hadoop Common Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。 Avro Chukwa HBase Bigtable的实现 HDFS 分布式文件系统 Hive 定位于数据仓库，提供类SQL接口HQL MapReduce 实现了MapReduce编程框架 Pig ZooKeeper 演练环境 操作系统 SuSE10，Linux2.6.16，32位版本。 Hadoop Hive通过SVN直接从网上下载原代码，其它采用hadoop-0.20.0.tar.gz二进制安装包，所以只需要编译Hive。 另外，请注意要下载2008-8-19号之前的Hive，2008-8-19提交的Hive版本在hadoop-0.20.0.tar.gz上编译通不过，原因是： Hive源代码根目录\ql\src\java\org\apache\hadoop\hive\ql\exec\FileSinkOperator.java文件中多了一行： import press.LzoCodec; Hive 在0.20.0版本的Hadoop二进制安装包中，并没有集成Hive，所以Hive需要自己编译，编译时需要使用到ant和ivy两个工具，而且依赖于Hadoop。 Java 运行Hadoop和编译Hive，都需要使用到Java，所以需要第一个安装的是Java。 机器 演练时，在3台机器上搭建Hadoop集群，假设这3台机器如下表所示： 机器名 机器IP 用途 Hadoop-A 用作Master Hadoop-B 用作Slave Hadoop-C 用作Slave 注意事项：机器名中不能包括下划线“_”，但可以包括横线，可以使用不带参数的hostname来查看机器名，修改机器名方法为：hostname 机器名，如：hostname Hadoop-A。 安装列表 安装 说明 Java 1.6 A、B和C三台机器都需要安装 Hadoop 0.20.0 A、B和C三台机器都需要安装 Hive 只需要在B和C两台机器上安装，也就是Slave机器不需要安装 ant 只需要在B和C两台机器上安装，也就是Slave机器不需要安装 ivy 只需要在B和C两台机器上安装，也就是Slave机器不需要安装 安装路线 配置ssh2 需要在所有机器上配置ssh2和修改/etc/hosts。 配置ssh2 mkdir ~/.ssh2 cd ~/.ssh2 ssh-keygen2 -t rsa echo IdKey id_rsa_2048_a identification echo key id_rsa_2048_a.pub authorization 修改 在/etc/hosts文件中增加如下三行： Hadoop-A Hadoop-B Hadoop-C 并根据上述关系，使用hostname命令修改三台机器的机器名。 安装Java 从/zh_CN/download/manual.jsp 下载jre，请注意是Java1.6版本，原因是Hadoop和Hive使用到了模板等特性 下载“Linux （自解压文件）”这个版本的jre，如下图所示 将下载的Java二进制安装包jre-6u15-linux-i586.bin上传到/usr/local目录 为jre-6u15-linux-i586.bin文件增加可执行权限：chmod +x jre-6u15-linux-i586.bin 运行jre-6u15-linux-i586.bin：./jre-6u15-linux-i586.bin 用户协议接受，选择yes 安装成功后，在/etc/profile增加如下一行： export PATH=/usr/local/jdk/bin:$PATH 安装Hadoop 从/common/releases.html 下载Hadoop二进制安装包hadoop-0.20.0.tar.gz 将hadoop-0.20.0.tar.gz上传到/usr/local目录 在/usr/local目录，将hadoop-0.20.0.tar.gz解压 为hadoop-0.20.0建一个软链接：ln -s hadoop-0.20.0 hadoop 在/etc/profile文件中，增加如下两行： export