全国大学生大数据技能竞赛指导手册.pdfVIP

1.修改主机名 本次集群搭建共有三个节点，包括一个主节点 master ，和两个从节点 slave1 和 slave2。 1.以主机点 master 为例，首次切换到 root 用户：su 2.分别修改三台主机名为 master ，slave1 ，slave2 ： • hostnamectl set-hostname master • hostnamectl set-hostname slave1 • hostnamectl set-hostname slave2 • 立即生效：bash 以为为永久修改主机名，可在线下自己的vmvare中执行： 注：如果想要永久修改主机名，编辑/etc/sysconfig/network 文件，内容 如下： 在 master 的 network 文件中加入以下内容： NETWORKING=yes HOSTNAME=master 在 slave1 的 network 中加入以下内容： NETWORKING=yes HOSTNAME=slave1 在 slave1 的 network 中加入以下内容： NETWORKING=yes HOSTNAME=slave2 注意保存退出。 保存该文件，重启计算机：reboot 查看是否生效：hostname 2.配置host文件 使各个节点能使用对应的节点主机名连接对应的地址。 hosts文件主要用于确定每个结点的IP地址，方便后续各结点能快速查到 并访问。在上述3个虚机结点上均需要配置此文件。由于需要确定每个结点的 IP 地址，所以在配置 hosts 文件之前需要先查看当前虚机结点的 IP 地址是多 少. 1.可以通过 ifconfig 命令进行查看。 2.查看节点地址之后将三个节点的 ip 地址以及其对应的名称写进 hosts 文 件。这里我们设置为 master、slave1、slave2。注意保存退出。 3.关闭防火墙 centos7 中防火墙命令用 firewalld 取代了 iptables ，当其状态是dead 时，即 防火墙关闭。 关闭防火墙：systemctl stop firewalld 查看状态：systemctl status firewalld 4.时间同步 1. 首先在时间同步之前确认是否有网络连接，如果没有网络只需要在每台 机器上都输入 date -s 10:00 就可以将所有机器时间同步到 10:00 了，但是在 有网络的情况下就可以执行下面的这种时间同步的方法： 时区一致。要保证设置主机时间准确，每台机器时区必须一致。实验中我 们需要同步网络时间，因此要首先选择一样的时区。先确保时区一样，否则同 步以后时间也是有时区差。 可以使用 date 查看自己的机器时间。 2.选择时区：tzselect 由于 hadoop 集群对时间要求很高，所以集群内主机要经常同步。我们 用 ntp 进行时间同步，master 作为 ntp 服务器，其余的当做 ntp 客户端。 3.下载 ntp （三台机器） yum install –y ntp 4.master 作为 ntp 服务器，修改 ntp 配置文件。（master 上执行） 默认的一个内部时钟数据，用在没有外部 NTP 服务器时，使用它为局域网 用户提供服务： • vi /etc/ntp.conf server # local clock fudge stratum 10 #stratum设置为其它值也是可以的，其范围为 0~15 重启 ntp 服务。 • /bin/systemctl restart ntpd.service 5. 其他机器同步（slave1 ，slave2 ） 等待大概五分钟，再到其他机上同步该机器时间。 • ntpdate master 5.配置ssh免密 SSH 主要通过 RSA 算法来产生公钥与私钥，在数据传输过程中对数据进 行加密来保障数据的安全性和可靠性，公钥部分是公共部分，网络上任一结点 均可以访问，私钥主要用于对数据进行加密，以防他人盗取数据。总而言之， 这是一种非对称算法，想要破解还是非常有难