hadoop完全分布式搭建.docx

完全分布式环境安装(完整亲测) 一、安装linux系统 Hadoop需要至少3个节点才能算是完全分布式环境，需要在虚拟机中安装3个 linux操作系统，比较快速的方式是通过安装一个操作系统，再复制2个操作系统。 这一步也可以在最后做，完全配置好一台linux系统环境之后再克隆，会节省一些时间，看个人的习惯。 过程如下： 1、使用VMware的克隆功能 2、选择创建完成克隆 3、输入主机名称，完成克隆操作。 主机列表如下： 主机名 IP地址 用途 master 192.168.1.101 namenode、secondorynamenode、jobtracker任务 node1 192.168.1.102 slave结点 node2 192.168.1.103 slave结点(冗余节点) 二、配置每台机器IP地址 最好配置每台机器的ip地址，否则每次开机地址都可能发生变化。 通过ifconfig命令查看当前IP地址（因为我使用的是centerOS7.5 所以显示en其实和eth0是一样的） 修改IP地址 登陆图形界面修改固定IP 三、配置hosts文件 三台机器都配置相同的hosts 同时需要把主机名改掉 四、增加Hadoop允许账号 [root@localhost ~]# groupadd hadoop //添加组 [root@localhost ~]# useradd -s /bin/bash grid -g hadoop -G root //添加用户 属于hadoop和root组 [root@localhost ~]# passwd grid //添加密码 更改用户 grid 的密码 。 新的 密码： 无效的密码： 密码少于 8 个字符 重新输入新的 密码： passwd：所有的身份验证令牌已经成功更新。 [root@localhost ~]# su - grid //切换到grid用户 [grid@localhost ~]$ 五、配置ssh免密码连入 1、产生公共秘钥 2、复制公共秘钥 三台机器都执行 3、需要把maste的公钥，写到node1和node2 实现免密码登陆 [grid@node2 .ssh]$ scp grid@master:~/.ssh/id_dsa.pub ./master_dsa.pub //把master的公钥复制到本地 The authenticity of host 'master (192.168.0.100)' can't be established. ECDSA key fingerprint is 38:f8:18:b1:3c:e6:c6:a7:52:80:dc:97:3f:ba:de:35. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'master,192.168.0.100' (ECDSA) to the list of known hosts. grid@master's password: id_dsa.pub 100% 616 0.6KB/s 00:00 [grid@node2 .ssh]$ cat master_dsa.pub >> authorized_keys //master的公钥写入keys [grid@node2 .ssh]$ 然后在master 输入 [grid@master ~]$ ssh node1 //首次会询问，退出之后再次连接不再询问 五、下载并解压hadoop 下载hadoop 1.0.1版本 使用解压缩命令解压缩 [grid@node2 ~]$ tar -xzvf hadoop-1.0.1.tar.gz 六、配置namenode,修改site文件 到目前为止，准备工作已经完成，下面开始修改hadoop的配置文件了，即各种site文件，文件存放在/hadoop/conf下，主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。 Core-site.xml配置如下： ? Hdfs-site.xml配置如下： ? 接着是mapred-site.xml文件： 配置hadoop-env.sh文件 这个需要根据实际情况来配置。 ? 七、配置masters和slaves文件 根据实际情况配置masters的主机名，在本实验中，masters主结点的主机名为master, 于是在masters文件中填入： ??? 同理，在slaves文件中填入： ? 八、向各节点复制hadoop 向node1节点复制hadoop： ? ??? 向node2节点复制ha