Hadoop完全分布式环境搭建步骤.docVIP

Hadoop分布式环境搭建 一、安装软件准备 由于资源限制，本文档的Hadoop的节点环境均部署在虚拟的linux上，使用的虚拟机和linux的版本如下： VMware-workstation-full-8.0.2-591240.exe [红帽企业.Linux.5].TLF-SOFT-RedHat.Enterprise.Linux.5.Update.2-XiSO.iso Hadoop及其相关包版本如下： hadoop-1.1.2.tar.gz 其他软件包版本如下： jdk-6u24-linux-i586.bin 二、linux环境准备 1.安装VMware Workstation 安装步骤省略 2.创建一个虚拟机 这里需要说明的是虚拟机的Network Adapter选择Host-only方式，并且保证VMware Network Adapter VMnet1为打开状态。 关于Network Adapter的几种桥接方式的区别如下，这里由于宿主机和客户机都在同一个电脑上，所以采用Host-only的方式。 宿主机(windows)与客户机(安装在虚拟机中的Linux)网络连接方式: (1) host-only 宿主机与客户机单独组网。 优点：网络隔离 缺点：虚拟机与其他服务器之间不能通信 (2)bridge 客户机与宿主机在同一个局域网中。 优点：都在同一个局域网，可以互相访问 坏处：不安全 3.安装RedHat Linux 安装时，对于网卡的设置，采用默认的DHCP方式，后面再进行ip设置。 4.RedHat 环境准备 4.1关闭防火墙和关闭防火墙的自动运行 1. 关闭防火墙 执行命令：service iptables stop 验证：service iptables status 2. 关闭防火墙的自动运行 执行命令：chkconfig iptables off 验证：chkconfig --list | grep iptables 4.2 安装jdk JDK同一安装在/opt/java/jdk1.6.0_24目录下，具体的安装和设置步骤省略 4.3 设置Linux的字符编码(非必须) 4.4 建立专门的运行hadoop的用户 三、Hadoop分布式环境搭建 1 克隆Linux虚拟机环境、 选中将被复制的linux虚拟机，单击菜单“VM”--“Manage”--“Clone” 按照步骤即可复制一个Linux虚拟机环境。 2 设置各个虚拟机IP 1.查看windows下VMware1的ip地址和子网掩码 2.分别设置三个节点的ip地址、子网掩码和网关。 重启网卡，执行命令service network restart，让其立即生效。 测试：在三个节点虚拟机中分别输入ping 192.168.75.10,ping 192.168.75.20,ping 192.168.75.30 3 配置各个主机名 (1)查看当前虚拟机的主机名：hostname (2)修改当前会话中的主机名，执行命令hostname hadoop 但此种方式只对当前会话有效 (3)修改配置文件中的主机名，执行命令vi /etc/sysconfig/network 验证：重启reboot 4 配置各个hosts文件 对三个节点分别执行命令： vi /etc/hosts,均增加三行行内容，如下： 192.168.75.10 hadoop1 192.168.75.20 hadoop2 192.168.75.30 hadoop3 验证：ping hadoop1, ping hadoop2, ping hadoop3 5 配置各个SSH免密码登录 5.1 ssh原理 ?客户端向服务器端发出连接请求 ?服务器端向客户端发出自己的公钥 客户端使用服务器端的公钥加密通讯密钥然后发给服务器端 如果通讯过程被截获，由于窃听者即使获知公钥和经过公钥加密的内容，但不拥有私钥依然无法解密（RSA算法） 服务器端接收到密文后，用私钥解密，获知通讯密钥 ssh-keygen命令给服务器端产生公私钥密钥对，cp命令将服务器端公钥复制到客户端（注意在伪分布模式下服务器端和客户端是同一台机器），因此客户端本身就拥有了服务器端公钥，可以直接进行免密码接入