hadoop集群搭建文档-虚拟机版本.docVIP

安装vmware，务必以管理员身份运行 操作系统(CentOS 6.5)的配置 准备工作：虚拟机安装三台linux 本次测试是 centos 6.5，(三台虚拟机的系统时间保持一致) *安装jdk（在另外一个文档中） *克隆虚拟机 *在vmware设置-克隆（虚拟机要关机，jdk要配置好） *选择克隆当前状态的虚拟机 **克隆完之后关机，点击重新生成mac地址 克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】 1修改ip地址： 其他克隆的虚拟机实际上只需要改address地址就可以，后面两项不变 *修改主机名命令： vi /etc/sysconfig/network （三台都要修改） 上述修改完成后，请依次重启三台虚拟机：重启命令：reboot 重启完成后依次在虚拟机上执行下面命令： 1.设置ip(上述步骤)（三台都要操作） 使用命令 重启网卡：service network restart 2.关闭防火墙（三台都要操作），使用命令：service iptables stop 3.关闭防火墙的自动启动（三台都要操作），使用命令：chkconfig iptables off 设置主机名与ip的映射，修改配置文件命令（三台都要操作）：vi /etc/hosts 将hosts文件拷贝到node1和node2节点 命令： scp /etc/hosts node1:/etc/hosts scp /etc/hosts node2:/etc/hosts 4.设置ssh免密码登录（只在Master 这台主机操作） 4.1主节点执行命令ssh-keygen -t rsa 产生密钥 一直回车 执行命令 将密钥拷贝到其他两个子节点，命令如下： ssh-copy-id -i node1 ssh-copy-id -i node2 实现免密码登录到子节点。 4.2 实现主节点master本地免密码登录 首先进入到/root 命令：cd /root 再进入进入到 ./.ssh目录下 命令：cd ./.ssh/ 然后将公钥写入本地执行命令： cat ./id_rsa.pub ./authorized_keys 如图 --------------------------------------（以下操作都在master 这台主机操作）------------------- 6将hadoop的jar包先上传到虚拟机/usr/local/soft目录下，主节点。可以使用xshell拖拽 7，解压。tar -zxvf hadoop-2.6.0.tar.gz 解压完后会出现 hadoop-2.6.0的目录 修改master中hadoop的一个配置文件/usr/local/soft/etc/hadoop/slaves 删除原来的所有内容，修改为如下 node1 node2 9，修改hadoop的几个组件的配置文件 进入/usr/local/soft/hadoop-2.6.0/etc/hadoop 目录下(请一定要注意配置文件内容的格式，可以直接复制过去黏贴。不要随意改) * 修改hadoop-env.sh文件 加上一句 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 ***修改 core-site.xml 将下面的配置参数加入进去修改成对应自己的 configuration property namefs.defaultFS/name valuehdfs://master:9000/value /property property namehadoop.tmp.dir/name value/usr/local/soft/hadoop-2.6.0/tmp/value /property property namefs.trash.interval/name value1440/value /property /configuration *** 修改 hdfs-site.xml 将dfs.replication设置为1 configuration property namedfs.replication/name value1/value /property