Hadoop全分布式安装与配置.doc

实验三 Hadoop全分布式安装与配置 实验目的 了解Hadoop的体系结构、组成 熟练掌握Hadoop的配置、安装方法 通过安装Hadoop了解Hadoop的原理 集群环境介绍 集群包含三个安装了CentOS 6.4的节点。将其中的一个节点作为NameNode，另外两个节点作为DataNode，安装之前先利用ping命令，确认三个节点之间的网络互通，即可以互相ping通。假设三个节点IP地址如下，实际的集群节点IP地址可能不同。 DataNode1： 03 主机名：slaver1 DataNode2： 05 主机名：slaver2 Hadoop全分布式集群搭建 集群环境初始配置 首先在三个节点上运行ssh，确认系统已安装ssh client。若未安装，则利用 yum install openssh-clients进行安装。 安装前要在/etc/yum.repos.d/下写一个配置文件，已便指定下载安装包的路径，并将默认配置文件改名:mv CentOS-Base.repo CentOS-Base.repo.bak。文件名任意，扩展名为.repo。如果yum 提示在运行，先将提示路径下的文件删：rm [路径/文件名]，再杀掉进程：kill [进程ID]。 vi /etc/yum.repos.d/test.repo 配置文件内容： [CentOS-FTP] name=CentOS-FTP baseurs=ftp//01/pub/CentOS6.4(大小写要和实际文件名一致) gpgcheck=0 enable=1 配置主机名，以便ssh命令接受主机名作为参数，而无需输入目的主机的IP地址，在NameNode/02机器上作如下操作： 1. 切换到root用户：su root 2. 编辑/etc/sysconfig/network文件，修改主机名：vi /etc/sysconfig/network 运行命令：hostname master HOSTNAME修改完成后，需要重新登录终端，才能看到修改后的结果。 3. 在/etc/hosts文件中添加主机名和IP地址列表，以便ssh访问能识别主机名，否则利用ssh登录目的主机时，需要在ssh登录命令中给出目的主机的IP地址。 4. 同时，对datanode1/03和datanode2/05这两台机器做如上操作。（区别：DataNode1 HOSTNAME=slaver1 , DataNode2 HOSTENAME=slaver2）。 安装Hadoop用户创建与配置 为了提高安全性，一般不会使用root用户运行hadoop，所以要创建一个平常运行和管理Hadoop集群的用户。 以root用户输入如下命令创建管理hadoop的用户和用户组MDSS： [root@master ~]# groupadd MDSS#添加一个组–g MDSS #添加一个#修改MDSS用户密码 Changing password for user MDSS. New UNIX password:? BAD PASSWORD: it is based on a dictionary word Retype new UNIX password:? passwd: all authentication tokens updated successfully. master和slave节点都要创建相同的用户和用户组，即在所有集群服务器上都要建MDSS用户和用户组。 关闭防火墙( Root用户) 在启动前关闭集群中所有机器的防火墙，否则NameNode、DataNode上的进城无法通过网络端口进行通信。所以对集群中所有服务器关闭防火墙： service iptables stop。 另外，为了防止NameNode、DataNode重启后自动开启防火墙服务，可以设置防火墙服务开机不启动： chkconfig iptables off 查看防火墙状态的命令为： service iptables status 若命令运行结果为：iptables: Firewall is not running.，则表示防火墙出于关闭状态 查看防火墙开机状态的命令为：chkconfig --list iptables Selinux配置 安装Hadoop需要设置SELinux 成为permissive模式。 查看SELinux状态： 1、sestatus -v ? ? ?##如果SELinux status参数为enabled即为开启状态 SELinux status: ? ? ? ? ? ? ? ? enabled 2、getenforce ? ? ? ? ? ? ? ?