Hadoop分布式详细安装步骤.docVIP

Hadoop分布式详细安装步骤 版本：0.20.2 准备工作： 由于Hadoop要求所有上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。台机器上是这样的：都有一个的帐户，主目录是/home/ 两台机器（内存应在512以上，否则可能会出现计算极度缓慢的情况）: 一台机器名：master IP:81 一台机器名：slave IP:82 每台都建coole用户 如果是ubuntu，为了便于用coole帐号修改系统设置和访问系统文件，推荐把coole也设为 sudoers（有 root 权限的用户），具体做法是用已有的 sudoer登录系统，执行 sudo visudo –f /etc/sudoers， 并在此文件中添加以下一行： mapred ALL=(ALL) ALL 一、更改主机名： 1、修改/etc/sysconfig/network NETWORKING=yes HOSTNAME=yourname （在这修改hostname，把yourname换成你想用的名字） NISDOMAIN= 修改后机器81中/etc/sysconfig/network文件内容为： NETWORKING=yes HOSTNAME=master 修改后机器82中/etc/sysconfig/network文件内容为： NETWORKING=yes HOSTNAME=slave 2、最后在终端下执行： # hostname ***** （*****为修改后的hostname，即你想用的名字） 例如#hostname master 特别提示：各处修改的名字要保持一致，否则会出现问题。 3、修改每台机器的/etc/hosts，保证每台机器间都可以通过机器名解析Master/slave做同样修改。内容如下（格式为:IP 主机名）（注意把用#注释掉，不注释也行）： # Do not remove the following line, or various programs # that require network functionality will fail. # localhost.localdomain localhost 81 master 82 slave 二、实现无密码登录的SSH 准备工作： 由于 Hadoop 需要通过 ssh 服务在各个节点之间登录并运行服务，因此必须确保安装 Hadoop 的各个节点之间的网络畅通，网络畅通的标准是每台机器的主机名和IP 地址能够被所有机器正确解析（包括它自己） 。一个简单的测试方法是 PING 主机名。 例如：ping slave 如果 ping 不通，则需要更新主机上的主机名文件。具体做法是，以 root 身份打开/etc/hosts 文件（见步骤1.3） ssh必须安装，且每次系统启动时 sshd 服务也必须自动启动。Ubuntu 用户可以用以下命令自动下载并安装： $ sudo apt-get install ssh $ sudo apt-get install rsync 其他Linux版本的用户可以到/portable.html下载openssh并按 照相关说明安装； 1、coole用户登录master机器。 $执行：ssh-keygen -t rsa 一路回车（当提示要为密钥输入 passphrase时回车采用空密码）将在home/coole/.ssh下生成密钥id_rsa和公钥id_rsa.pub id-rsa.pub可能内容： ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAIEAsCdZkkr4At9szhPIyGcwM/KfgITUZbA+PokP+zHULI+qYRPdjLXuqMEH/LFd9EjjsitBLuWHCVxX9SC+8ToY5/PFUjB1ZgnOopb5SS3QFJ84pgFXP/HR+9jWUl3LTOTGF5uCWLZfusRP8rV3wG88vpltAjBaUKhK+6bB4npjagc= coole@master 2、把公钥id_rsa.pub内容拷贝到authorized下 $cat /home/coole/.ssh/id_rsa.pub/home/coole/.ssh/authorized_keys 3、把authorized_keys复制到slave机器的/home/coole/.ssh文件夹下（先建好.ssh文件夹） $scp authorized_keys coole@82:/home/hadoop/.ssh 说明：步骤2、3把公钥拷到所有节点的~/.ssh/authorized_keys这个文件中（包括自己本 身，保证ssh登录自己时也不需要密码），如果该文件