Eclipse33(windows7)连接远程hadoop(RedHatEnterpriseLinux5)并测试程序.doc

Eclipse3.3 (windows7)连接远程hadoop（RedHat.Enterprise.Linux.5） 一、hadoop集群安装 机器名 IP 作用 NameNode NameNode、master、jobTracker DataNode1 DataNode、slave、taskTracker DataNode2 DataNode、slave、taskTracker 机器满足1G 内存，2G 更好。Linux5 安装后，可不启动图形界面，节约内存。 安装步骤： 1、安装RedHat.Enterprise.Linux.5 用介质安装linux，安装完后修改机器名：$ hostname 机器名。 在/etc/hosts 中添加机器名和相应的IP： localhost NameNode DataNode1 DataNode2 修改/etc/inittab文件： id:5:initdefault: 改为id:3:initdefault: 重新启动OS就不会进入图形界面了 #service sshd start 可以在windows 下用SSH Secure Shell Client来测试一下。 3、关闭防火墙(所有机器) # chkconfig --levels 2345 iptables off 注意：这步非常重要。如果不关闭，会出现找不到datanode 问题。 4、建立ssh 无密码登录 (1)在NameNode 上实现无密码登录本机： $ ssh-keygen -t rsa 直接回车，完成后会在~/.ssh/生成两个文件：id_rsa 和id_rsa.pub。 $ ssh-keygen -t dsa 直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。 $cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 将生成的密钥串在钥匙链上 $cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 将生成的密钥串在钥匙链上 $ chmod 600 ~/.ssh/authorized_keys。 (2)实现NameNode 无密码登录其他DataNode： 把NameNode 上的authorized_keys 文件追加到dataNode 的authorized_keys 内( 以 节点为例)： a. 拷贝NameNode 的authorized_keys 文件： $ scp authorized_keys mark@:/home/mark/ b. 登录，执行$ cat authorized_keys ~/.ssh/authorized_keys 其他的dataNode 执行同样的操作。 注意：如果配置完毕，如果namenode 依然不能访问datanode，可以修改datanode 的 authorized_keys的读写权限(很重要！)： $ chmod 600 ~/.ssh/authorized_keys。 5、安装jdk1.6 下载地址：/javase/downloads/widget/jdk6.jsp，下载后，直接安装。本例的安装路径为/usr/java/jdk1.6.0_31。 安装后，添加如下语句到/etc/profile 中： export JAVA_HOME==/usr/java/jdk1.6.0_31 export JRE_HOME==/usr/java/jdk1.6.0_31 /jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 注意：每台机器的java 环境最好一致。安装过程中如有中断，切换为root 权限来安装。 6、安装hadoop 下载hadoop-0.20.2.tar.gz 解压：$ tar –zvxf hadoop-0.20.2.tar.gz 把Hadoop 的安装路径添加到环/etc/profile 中: export HADOOP_HOME=/home/mark/hadoop-0.20.2 export PATH=$HADOOP_HOME/bin:$PATH 7、配置hadoop hadoop 的主要配置都在hadoop-0.20.2/conf 下。 (1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)：