Hadoop大数据开发基础 第2版 第2章 Hadoop集群的搭建及配置.pptVIP

在虚拟机master上配置完成Hadoop集群相关配置后，将虚拟机master克隆，生成3个新的虚拟机slave1、slave2、slave3。 在虚拟机master的安装目录“E:\Vmware”下建立3个文件slave1、slave2、slave3。 克隆虚拟机 以克隆master生成虚拟机slave1为例，详细介绍虚拟机的克隆过程。 右键单击虚拟机master，依次选择“管理”→“克隆”命令，进入“欢迎使用克隆虚拟机向导”的界面，直接单击“下一步”按钮。 克隆虚拟机 选择克隆源，选择“虚拟机中的当前状态”单选按钮。 克隆虚拟机 选择“创建完整克隆”单选按钮，并单击“下一步”按钮。 克隆虚拟机 设置新虚拟机的名称，新虚拟机名称为“slave1”，选择该虚拟机的安装位置为“E:\VMware\slave1”，如左图所示，单击“完成”按钮，虚拟机开始克隆，最后单击“关闭”按钮，如右图所示，完成虚拟机的克隆。 克隆虚拟机 开启slave1虚拟机，修改相关配置。因为slave1虚拟机是由master虚拟机克隆产生的，即虚拟机配置与虚拟机master一致，所以需要修改slave1的相关配置，修改过程如下。 修改/etc/sysconfig/network-scripts/ifcfg-ens33文件，将IPADDR的值修改为“31”。 重启网络服务，并查看IP是否修改成功。 修改主机名称为slave1。 重启虚拟机，使用“reboot” 命令重新启动虚拟机。 克隆虚拟机 接上页修改slave1相关配置。 验证slave1是否配置成功。在master节点中，使用“ping slave1”命令，如下图，说明slave1配置成功。 重复上述的相关步骤，继续克隆master虚拟机生成slave2、slave3虚拟机，并修改slave2、slave3虚拟机的相关配置。 克隆虚拟机 SSH（Secure Shell，安全外壳）是建立在TCP/TP协议的应用层和传输层基础上的安全协议。 SSH保障了远程登录和网络传输服务的安全性，起到了防止信息泄露等作用。 通过SSH的协议可以对文件进行加密处理。 SSH可以运行于多平台。 配置SSH无密码登录的步骤均是在master虚拟机上进行操作。 配置SSH免密码登录 使用ssh-keygen产生公钥与私钥对。使用“ssh-keygen -t rsa ”命令，接着按3次“Enter ”键，生成私有密钥id_rsa和公有密钥id_rsa.pub两个文件。ssh-keygen用以生成RSA类型的密钥以及管理该密钥，参数“-t ”用于指定要创建的SSH密钥的类型为RSA。 配置SSH免密码登录 使用ssh-copy-id命令将公钥复制至远程机器中。 验证SSH是否能够无密钥登录。在master主节点下分别输入“ssh slave1”“ssh slave2”“ssh slave3”，结果如下图，说明配置SSH免密码登录成功。 配置SSH免密码登录 NTP是使计算机时间同步化的一种协议，可以使计算机对其服务器或时钟源进行同步化，提供高精准度的时间校正。 Hadoop集群对时间要求很高，主节点与各从节点的时间都必须同步。 配置时间同步服务主要是为了进行集群间的时间同步。 配置时间同步服务 Hadoop集群配置时间同步服务 安装NTP服务。在各节点使用“yum install -y ntp ”命令即可。若出现了“Complete ”信息，则说明安装NTP服务成功。若安装出现问题，则需要重新挂载本地YUM源操作，使用“mount /dev/sr0 /media”命令。 设置master节点为NTP服务主节点，使用“vim /etc/ntp.conf”命令打开/etc/ntp.conf文件，注释掉以server开头的行，添加配置内容。 分别在slave1、slave2、slave3中配置NTP服务，同样修改/etc/ntp.conf文件，注释掉server开头的行，并添加配置内容。 配置时间同步服务 接上页 使用“systemctl stop firewalld ”和“systemctl disable firewalld ”命令关闭防火墙并禁止开机自动启动防火墙。 启动NTP服务。NTP服务安装完成，即可开始启动NTP服务。 配置时间同步服务 主节点和从节点均需要关闭。 启动NTP服务 在master节点使用“systemctl start ntpd”和“systemctl enable ntpd”命令启动NTP服务，再使用“systemctl status ntpd”命令查看NTP服务状态，出现“active(running)”信息，说明NTP服务启动成功。 配置时间同步服务 启动NTP服务 分别在s