hadoop2.2安装与配置.docxVIP

Hadoop集群 在linux下配置 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。 下载地址: HYPERLINK /hadoop/common/hadoop-2.2.0/ /hadoop/common/hadoop-2.2.0/ 如下图所示，下载红色标记部分即可。 第二部分 集群环境搭建 这里我们搭建一个由两台机器组成的集群： 7 tan/123456 yang 7 tan/123456 ubuntu 1.1 上面各列分别为IP、user/passwd、hostname 1.2 Hostname可以在/etc/hostname中修改 1.3 这里我们为每台机器新建了一个账户tan.这里需要给每个账户分配sudo的权限。 （切换到root账户，修改/etc/sudoers文件，增加：tan ALL=(ALL) ALL ） 修改/etc/hosts 文件，增加两台机器的ip和hostname的映射关系 7 yang 7 ubuntu 打通yang到ubuntu的SSH无密码登陆 3.1 安装ssh 一般系统是默认安装了ssh命令的。如果没有，或者版本比较老，则可以重新安 装： sudo apt-get install ssh 3.2设置local无密码登陆 安装完成后会在~目录（当前用户主目录，即这里的/home/tan）下产生一个隐藏文 件 夹.ssh（ls -a 可以查看隐藏文件）。如果没有这个文件，自己新建即可 （mkdir .ssh）。 具体步骤如下： 进入.ssh文件夹 ssh-keygen -t rsa 之后一路回 车（产生秘钥） 把id_rsa.pub 追加到授权的 key 里面去（cat id_rsa.pub authorized_keys） 重启 SSH 服 务命令使其生效 :service ssh restart 此时已经可以进行ssh localhost的无密码登陆 【注意】：以上操作在每台机器上面都要进行。 3.3设置远程无密码登陆 这里只有yang是master，如果有多个namenode，或者rm的话则需要打通所有master 都其他剩余节点的免密码登陆。（将yang的authorized_keys追加到ubuntu的 authorized_keys） 进入yang的.ssh目录 scp authorized_keys tan@ubuntu:~/.ssh/ authorized_keys_from_yang 进入ubuntu的.ssh目录 cat authorized_keys_from_yang authorized_keys 至此，可以在yang上面ssh tan@ubuntu进行无密码登陆了。 安装jdk 注意：这里选择下载jdk并自行安装，而不是通过源直接安装（apt-get install） 4.1、下载jdk（ HYPERLINK /technetwork/java/javase/downloads/index.html /technetwork/java/javase/downloads/index.html） 4.1.1 对于32位的系统可以下载以下两个Linux x86版本（uname -a 查看系统版 本） 4.1.2 64位系统下载Linux x64版本(即x64.rpm和x64.tar.gz) 4.2、安装jdk（这里以.tar.gz版本，32位系统为例） 安装方法参 /javase/7/docs/webnotes/install/linux/linux-jdk.html 4.2.1 选择要安装java的位置，如/usr/目录下，新建文件夹java(mkdir java) 4.2.2 将文件jdk-7u40-linux-i586.tar.gz移动到/usr/java 4.2.3 解压：tar -zxvf jdk-7u40-linux-i586.tar.gz 4.2.4 删除jdk-7u40-linux-i586.tar.gz（为了节省空间） 至此，jkd安装完毕，下面配置环境变量 4.3、打开/etc/profile（vim /etc/profile） 在最后面添加如下内容： JAVA_HOME=/usr/java/jdk1.7.0_40（这里的版本号1.7.40要根据具体下载情况修 改） CLASSPATH=.:$JAVA_HOME/lib.tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH 4.4、source /etc