Hadoop安装部署标准手册.docxVIP

Hadoop安装部署标准手册 Hadoop安装部署标准手册 PAGE PAGE10 Hadoop安装部署标准手册 PAGE 1 安 装 环 境 介 绍 软件环境 1） 2） 3） 4） 5） 集群环境 集群中包括 3个节点：1个Master，2个Slave 机器名称 IP地址 Hadoop ZooKeeper myid Hbase NameNode 1 HMaser DataNode 2 HRegionServer DataNode 3 HRegionServer 安装前的准备 下载JDK 下载Hadoop 下载Zookeeper 下载Hbase 开始安装 CentOS安装置置 1）安装3台 （使用BasicServer 模式，其他使用默认配置，安装过程略） 2） 配置 配置网络 vi/etc/sysconfig/network-scripts/ifcfg-eth0 更正为： DEVICE=eth0 ONBOOT=yes BOOTPROTO=static IPADDR= GATEWAY= 保存，退出（ esc+:wq+enter ），使配置见效 servicenetworkrestart 配置主机名 vi/etc/sysconfig/network 更正为： 保存NETWORKING=yes，退出（esc+:wq+enter ），使配置见效 配置hosts vi/etc/hosts 更正为： Slave1关闭.系Hadoop统防火墙 serviceiptablesstop e)chkconfigiptablesoff禁止SELINUX vi/etc/sysconfig/selinux 更正为： #SELINUX=enforcing SELINUX=disabled f) 调整系统文件限制 在最后增加以下内容 *softnofile65535 *hardnofile65535 更正以下文件： 增加vi/etc/pam以下内容.：d/login 以上调整，需要重启系统才能见效 配置用户 新建hadoop用户和组，设置 hadoop用户密码 groupaddhadoop useraddhadoop-gHadoop h) 无密码密钥对 passwdhadoop 切换到hadoop用户，生成密码对 suHadoop ssh-keygen-trsa-P id_rsa和 生成其无密码密钥对，咨询其保存路径时直接回车采用默认路径。生成的密钥对： ，默认储藏在/home/hadoop/.ssh 目录下。 把追加到授权的key里面去 cat~/.ssh/id_rsa.pub~/.ssh/authorized_keys b) 更正.ssh目录的权限以及 authorized_keys 的权限 chmod600~/.ssh/authorized_keys 用root用户登录服务器更正SSH配置文件/etc/ssh/sshd_config的以下内容 suroot vi/etc/ssh/sshd_config 其中三行内容改为启用，以下所示 RSAAuthenticationyes 保存，退出（ esc+:wq+enter ），重新启动 SSH服务，使设置见效 PubkeyAuthenticationyes 3） 、 配置 相同的方式配置 Slave1和Slave2的IP地址，主机名和 hosts文件，新建 hadoop用户和组 及用户密码等等操作 机器名称 IP地址 无密码登陆配置 1）配置Master无密码登录所有 Slave 使用hadoop用户登陆 把公钥复制所有的Slave机器上。使用下面的命令格式进行复制公钥 scp~/.ssh/id_rsa.pubhadoop@Slave1.Hadoop:~/ scp~/.ssh/id_rsa.pubhadoop@Slave2.Hadoop:~/ c) 在Slave机器进步行配置 cat~/id_rsa.pub~/.ssh/authorized_keys rm– 测试Master到Slave的ssh登陆 2）配置Slave无密码登录 Master 使用hadoop用户登陆Slave 把公钥复制Master机器上。使用下面的命令格式进行复制公钥 scp~/.ssh/id_rsa.pubhadoop@Master.Hadoop:~/ 在Master机器大将公钥追加到authorized_keys中 cat~/id_rsa.pub~/.ssh/authorized_keys rm– 测试Slave到Master的ssh登陆 安装JDK 所有的机器上都要安装  JDK，先在  Master  服务器安装，尔后其他服务器依照步骤重复进行即可。 安装  JDK  以及配置环境变量，需要以  root的身份进