平台搭建--ubuntu + hadoop0.22.doc

一、安装好虚拟机，设置连接方式为桥接，否则集群不能正常连接 二、重新设置 root 的密码：$sudo passwd root #按照提示输入两次新的密码，并加以确认。 打开“控制面板” –“管理工具”“服务”找到名为“Security Center”的服务双击这个服务，打开属性设置。sudo apt-get install openssh-server 等待好了就可以用SSH Secure Shell Client 链接了。 虚拟机网络可以之后进入命令终端，ifconfig查看IP情况，用ssh连接 五、安装JDK： 1、进入usr目录：cd /usr在当前目录创建目录java：mkdir java 给安装程序赋予权限：chmod +x jdk-6u-linux-i586.bin 5、执行安装命令：./jdk-6u-linux-i586-rpm.bin 6、配置环境变量：编辑/etc/profile 文件：? vi /etc/profile sudo apt-get install vim 按I 键进入编辑状态 在适当位置配置以下内容： export JAVA_HOME=/usr/java/jdk1.6.0_export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar export PATH=$PATH:$JAVA_HOME/bin 完成配置后，按ESC 键，然后输入:wq 保存并退出(:q! 退出不保存) 、使配置文件生效：source /etc/profile 、查看java 版本：java -version 安装eclipse下载eclipse； 2、解压eclipse-SDK-4.2.1-linux-gtk.tar.gz tar -zxvf eclipse-SDK-4.2.1-linux-gtk.tar.gz 产生了一个eclipse的文件。 eclipse的默认启动参数。修改（cd 然后vi）eclipse/eclipse.ini 去掉 --launcher.defaultAction，在下面通过vm指定JVM路径，此后就能直接点击图标启动eclipse。修改如下所示： org.eclipse.platform --launcher.XXMaxPermSize 256m openFile -vmargs -Xms40m -Xmx512m -vm /usr/java/jdk1.6.0_26/bin/java 需要重启才能生效。 4、配置eclipse的mapreduce工程环境。（安装完hadoop以后执行） 将hadoop-0.22.0-eclipse-plugin （环境包）和net.sf.fjep.fatjar_0.0.31（自动打包工具）上传到/opt/eclipse/eclipse/plugins中，然后进入到eclipse中的windows下的preference设置默认路径：/root/hadoop/hadoop-0.22.0。然后就可以新建mapreduce工程了。 七、免密码SSH连接 在这之前必须修改 /etc/hosts与 /etc/hostname 的内容：其中前者为集群中IP和主机名匹配情况，后者为本机主机名。 （1）建立.ssh目录 （所有主机下） #mkdir .ssh （2）生成密钥对 （本地节点） #ssh-keygen -t rsa （1）、（2）两步需要在所有节点上执行，一直按Enter键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中 (3)本地节点上执行如下命令 ssh-copy-id -i ~/.ssh/id_rsa.pub root@218.193.126.XX (远程节点) [注: ssh-copy-id 把密钥追加到远程主机的 .ssh/authorized_key 上.] 此时本地节点向远程节点发起SSH连接，只有在第一次登录时需要密码，以后则不需要 #ssh slaveX 八、建立hadoop守护进程 解压缩： 在root下面新建一个hadoop文件夹，将hadoop-0.22.0.tar.gz?传到该文件夹下，然后进入执行：tar?-xvzf?hadoop-0.22.0.tar.gz?命令，将其解压到当前文件夹下，并在/usr/local下建立软连接：ln?-s?/root/hadoop/hadoop-0.22.0?hadoop，可以ll查看当前的链接情况。 修改环境变量配置文件并使之生效：vi