Hadoop集群部署文档.doc

Hadoop集群部署文档 By Superxgl 分布式运行模式 下面的内容我们将重点介绍hadoop分布式模式如何部署。 机器说明 本文使用四台机器搭建集群环境，机器名分别为master,slave01,slave02,slave03,可通过切换到root用户执行# hostname -v new_host_name来更改域名。四台机器均安装CentOS 5.3操作系统(其它 Linux 发行版亦可) 用机器名Ping通机器 确保各台机器之间网络畅通，机器名与 IP 地址之间解析正确，从任一台机器都可以　ping 通其它机器的机器名。机器名的解析问题，可通过设置 /etc/hosts 文件解决，当然更好的解决方法是在你的网络中配置 DNS 服务器。/etc/hosts 文件/etc/hosts 文件 $ su – #vi /etc/hosts 我们将使用 作为分布式文件系统 HDFS 的 Name Node及 MapReduce 运行过程中的 Job Tracker 结点，我们将称之为主结点。其它台机器 () 作为 HDFS 的 Data Node 以及 MapReduce 运行过程中的 Task Tracker 结点，这些结点可统称为从结点。如你需要部署更多的机器，也是很容易的，将新加入的机器作为 Data Node以及 Task Tracker 结点即可，其配置过程与本文介绍的台机器的环境类似，此不赘述。 新建系统hadoop用户 Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户，所以需要每台机器一个同名的用户。如, 或直接使用 root 帐号亦可。在这4台机器上建hadoop用户，密码：，默认路径/home/hadoop/。 目的 在 Hadoop 分布式环境中，Name Node (主节点) 需要通过 SSH 来启动和停止 Data Node (从结点)上的各类进程。我们需要保证环境中的各台机器均可以通过 SSH 登录访问，并且 Name Node 用 SSH 登录 Data Node 时，不需要输入密码，这样 Name Node 才能在后台自如地控制其它结点。所以需要设置namenode到其他3台datanode的无密码公钥认证方式的SSH。 现在流行的各类 Linux 发行版一般都安装了 SSH　协议的开源实现 OpenSSH, 并且已经启动了 SSH 服务, 即这些机器缺省应该就是支持 SSH 登录的。如果你的机器缺省不支持 SSH, 请下载安装 OpenSSH。 以下是配置 SSH 的无密码公钥认证的过程。首先，在 机器上执行命令，如代码所示： $ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: 2e:57:e2:bf:fd:d4:45:5c:a7:51:3d:f1:51:3c:69:68 hadoop@master 这三个项目都直接回车。这个命令将为 上的当前用户 生成其密钥对，密钥对的保存路径使用缺省的 /home//.ssh/id_rsa, 要求输入 passphrase 的时候，直接回车。这样生成的证书以及公钥将存储在 /home//.ssh 目录，形成两个文件 id_rsa，id_rsa.pub。将 id_rsa.pub 文件的内容复制到/home//.ssh/authorized_keys文件的尾部 $ cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 或 $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 注意：需要修改authorized_keys文件的权限为644，这是最关键的，否则还是要输入密码。方法如下： $ chmod 644 ~/.ssh/authorized_keys 一般情况下这样就ok了。但是有时候，就