Hadoop环境搭建与配置及其错误处理Bingjie.docVIP

vi在安装hadoop之前首先安装Ubuntu10.10，安装Ubuntu10.10要选择一个空间足够大的硬盘（一般需要15-20G）设置用户名和密码之后即可进行安装。Ubuntu10.10安装完成之后是以你设置的用户名登录的（比如我是以just的用户登录的）现在你还没有权限修改hosts文件和很多配置文件。所以接下来要创建root用户（权限最高）。 开启终端输入命令：sudo passwd root 然后设置密码即可（最好和just用户密码相同，以后登录简单）。现在可以切换用户了，以root用户身份登录。 一.接下来就是配置ssh实现Hadoop节点间用户的无密码访问了，以下的配置需在各个节点的root用户下进行： 1.找到/root/etc下的hostname和hosts文件。在这里就要区分Namenode和Datanode节点了。首先说明一下：Namenode节点是just节点，Datanode节点包括：anjiufang和wang2。具体IP地址如下： 92 just 11 anjiufang 02 wang2 对于Namenode节点的设置如下： hostname文件中写：just hosts文件中加入自己的IP地址和所有Datanode节点的IP地址： 92 just 11 anjiufang 02 wang2 要注意，IP地址和主机名一定要准确对应，这样以后在配置.xml配置文件需要IP地址和ssh无密码访问时可以直接用主机名代替IP地址。 对于Dtanode节点的设置如下（anjiufang）： hostname文件中写：anjiufang hosts文件中加入自己的IP地址和对应Namenode节点的IP地址： 92 just 11 anjiufang 对于Namenode节点的设置如下（wang2）： hostname文件中写：wang2 hosts文件中加入自己的IP地址和所有Datanode节点的IP地址： 92 just 02 wang2 设置完成后保存。现在打开终端可以ping一下了。如： 在just上：ping wang2 如果能ping通就没问题了。 2.解除结点间用户的ssh访问密码 在namenode的/root目录下建立.ssh目录，命令如下： mkdir .ssh //建立目录 在/root目录下进行ssh配置 ssh-keygen -t rsa //生成私钥和公钥 把公钥id_rsa.pub拷贝到authorized_keys文件，这样可以通过ssh命令无密码访问本机，命令如下： cd /root/.ssh cp id_rsa.pub authorized_keys ssh just //如果可以访问就没问题了 终端中的内容如下： root@just:~# ssh just Linux just 2.6.35-22-generic #33-Ubuntu SMP Sun Sep 19 20:34:50 UTC 2010 i686 GNU/Linux Ubuntu 10.10 Welcome to Ubuntu! * Documentation: / 225 packages can be updated. 82 updates are security updates. Last login: Mon Jan 17 15:36:29 2011 from 50 root@just:~# 3.在datanode节点下做同样的操作。 4.把Namenode节点生成的id_rsa.pub文件的内容拷贝到各个Datanode节点的id_rsa.pub文件和authorized_keys文件中（追加到文件末尾即可）。 现在你可以通过ssh命令无密码访问各个Datanode节点了 （在这里说明一下：主机A需要无密码访问主机B，就要把主机A的公钥拷贝到主机B上，如果主机B也许要无密码访问主机A则把主机B的公钥拷贝到主机A上即可，只是这样做意义不大） 首次ssh无密码访问Datanode节点可能提示输入Yes或者No，输入Yes再次访问就可以直接登录任何Datanode节点而对他们进行远程操作了。终端效果如下： root@just:~# ssh anjiufang Linux anjiufang 2.6.35-22-generic #33-Ubuntu SMP Sun Sep 19 20:34:50 UTC 2010 i686 GNU/Linux Ubuntu 10.10 Welcome to Ubuntu! * Documentation: / 225 packages can be updated. 82 updates are security