hadoop及hive 集群配置安装文档.docxVIP

Hadoop及hive集群配置安装文档 安装说明： 1） 首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common,主要提供 DFS （分布式文件存储）与Map/Reduce的核心功能。 2） Hadoop在windows下还未经过很好的测试，所以目前只能在linux，unix环境下安装。 3） 为了避免出现权限方面的问题，请使用root用户登录安装。 4） 要使用hive必须先安装Hadoop环境，所以我们的安装步骤以Hadoop为先。 5） 首先登录进入master机，然后再进入slave机，两者的对hadoop安装配置顺序是一 致的。对于hive的安装与相关配置只在master机器上。 6） 本文档中使用 了 jdk1.6, rsync3.0，hadoop-0.20.2, hive-0.6.0 的 tar 包，要想安装 Hadoop 请从相关网站下载。 机器情况： 机器型号：HP Praliant DL380服务器* 2 机器 IP： 4 （master 机） 3（slave 机） 操作系统：Red Hat Enterprise 5.5（linux） HADOOP 环境：hapoop-0.20.2 HIVE 环境：hive-0.6.0-bin 准备工作： 准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync 和Jdk1.6 （因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。 SSH： 一般在安装系统后已经存在，可以用rpm qa openssh-server检查是否已经安装。 如未安装可以在系统光盘寻找openssh-server-4.3p2-16.el5.i386.rpm安装。 rsync：rsync-3.0.8pre1.tar JDK:这里的JDK版本至少是1.5，本次实验的版本是1.6 开始安装： 第一步：安装JDK1.6 LINUX 下安装 JDK1.6 .doc 第二步：安装HADOOP环境 安装文件：hadoop-0.20.2.tar.gz 卜面是在linux平台下安装 卜面是在linux平台下安装Hadoop的过程: 这里注意最后一步，最好把HADOOP_HOME写入/etc/profile中然后注销，重新用root用户 登录:vi /etc/profile 在profile末尾写入以下两行 export HADOOP_HOME=/opt/hadoop/hadoop-0.20.2 export HADOOP_HOME 第三步：配SSSH 如果事先不存在authorized_keys,先要执行命令: touch ~/.ssh/authorized_keys [root@localhost] ssh-keygen -t rsa [root@localhost] #以下是生成一个为id_rsa/id_rsa.pub的无密码的公/私钥对 Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: [root@localhost] ls -l ~/.ssh 1675 Jul 5 14:01 id_rsa394 Jul 5 14:01 id_rsa.pubcat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 1675 Jul 5 14:01 id_rsa 394 Jul 5 14:01 id_rsa.pub cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys #因为ssh服务对文件的权限有着非常严格的限制 -rw 1 root root -rw-r--r-- 1 root root [root@localhost] [root@localhost] (authorized_keys只能拥有指定用户的写权限)于是需要进行如下处理 [root@localhost] chmod 644 ~/.ssh/authorized_keys 经过以上步骤，我们的无密码访问就配置好了，可以通过如下命令进行验证: [root@localhost] ssh 3 [ root@3] exit [root@localhost] ssh 4 [root@ 4] exit 第四步：配置 Hadoop相关文件 对$HADOOP_HOME/src 文件下的 core-site.xml,hdfs-site.xml,