Hadoop在linux下的安装部署.docVIP

1.说明共有两台机器（一台式一笔记本），主机名为gislq-1，gislq-2IP地址：192.9.116.20，192.9.116.67操作系统：均为Ubuntu 10.10hadoop：hadoop-0.16.3.tar.gz【1】gislq-1作为namenode（master），gislq-2作为datanode（slave）【1】遇到问题 我最初下载的是最新的hadoop版本0.21.0，但是到最后所有配置完成后，输入命令$ start-all.sh 提示DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it。但是当我使用hdfs命令时又出现Hadoop common not found。后来发现好象是新版本里的一个bug（或者是新版本还需要新的设置），安装0.16.3版问题消失2.ping机器网上说一个很简单的测试办法就是ping一下主机名，比如在gislq-1上ping gislq-2，如果能ping通就OK！我不知道什么叫能ping通。。。同事说只要在终端输入ping gislq-2命令，如果能能传输数据包即可。我照做，用这个命令可以ping通，但是到了后面使用scp命令复制文件时【2】，如果目标地址使用主机名表示，则不能复制，过很长时间后提示：ssh: connect to host gislq-2 port 22: Connection timed outlost connection如果目标地址使用IP地址表示，则没有问题。同样ssh也不能用主机名连接解决办法就是修改/etc/hosts文件，如果该台机器作Namenode用，则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名；如果该台机器作Datanode用，则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。以本机为例，gislq-1中的/etc/hosts文件看起来是这样的127.0.0.0???????? localhost???? localhost192.9.116.20????? gislq-1?????? gislq-1192.9.116.20????? gislq-2?????? gislq-2gislq-2中的/etc/hosts文件看起来是这样的127.0.0.0???????? localhost???? localhost192.9.116.20????? gislq-1?????? gislq-1192.9.116.20????? gislq-2?????? gislq-2【2】使用scp命令时，会询问目标机器的root管理员的密码，普通用户（就是不管是安装时自己设的用户，还是后来添加的管理员用户）的密码无效。ubuntu默认root用户密码为空 输入命令passwd root就可以更改密码了3.新建系统hadoop用户Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户，所以需要每台机器建一个同名的用户。在这4台机器上建hadoop用户,密码：hadoop(用户名和密码可自己指定)，我建的是管理员账户4.安装并开启SSH服务在SSH设置之前先要安装ssh服务，并开启。Ubuntu缺省安装了openssh-client,所以在这里就不安装了，如果你的系统没有安装的话，再用apt-get安装上即可。网上有很多介绍在Ubuntu下开启SSH服务的文章，但大多数介绍的方法测试后都不太理想，均不能实现远程登录到Ubuntu上，最后分析原因是都没有真正开启ssh-server服务。最终成功的方法如下：$ sudo apt-get install openssh-server然后确认sshserver是否启动了：$ ps -e |grep ssh如果只有ssh-agent那ssh-server还没有启动，需要执行命令$ /etc/init.d/ssh start，如果看到sshd那说明ssh-server已经启动了。5.配置SSHHadoop需要namenode到datanode的无密码SSH，所以需要设置namenode到其他3台datanode的无密码公钥认证方式的SSH。简单的说，在gislq-1上需要生成一个密钥对，即一个私钥，一个公钥。将公钥拷贝到gislq-2上，这样，比如当gislq-1向 gislq-2发起ssh连接的时候，gislq-2上就会生成一个随机数并用gislq-1的公钥对这个随机数进行加密，并发送给gislq