hadoop272集群安装.docxVIP

、Hadoop集群配置环境说明集群中所用的机器均为虚拟机，操作系统为64位的CentOS6.5，已经安装VMtools，方便虚拟机和主机的文件移动。集群中包含三个节点：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，节点的IP地址分布如下：机器名称IP地址Master1.hadoop30Slave1.hadoop28Slave2.hadoop192,168.160.129三个节点上均有个相同用户grid1.1网络配置1）查看当前机器名hostname2）修改当前主机名vim /etc/sysconfig/network3）修改hosts配置文件vim /etc/hosts配置主机名到IP地址的映射关系1.2JDK安装1）oracle官网下载JDK，jdk1.8.0_91/technetwork/java/javase/downloads/jdk8-downloads-2133151.html/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2）在usr下创建一个文件夹存放java包mkdir /usr/java3）将压缩包移动到java文件夹并解压mv jdk-8u91-linux-x64-gz /usr/javatar –zxvf jdk-8u91-linux-x64-gz4）配置环境变量vim /etc/profile在末尾追加#set java environmentexport JAVA_HOME=/usr/java/jdk1.8.0_91/export JRE_HOME=/usr/java/jdk1.8.0_91/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin5）使其立即生效source /etc/profile6）输入javac检验是否成功7）其余机器也是如此配置SSH免密码登录2.1安装ssh和rsync服务1）检查是否已经安装了ssh和rsync服务rpm –qa | grep opensshrpm –qa | grep rsync2)如果没有安装，可通过下面的命令安装yum install ssh 安装SSH协议yum install rsync rsync是一个远程数据同步工具，可以通过LAN/WAN快速同步数据service sshd restart 启动服务2.2配置Master无密码登录所有的slave1）SSH免密码原理Master作为客户端如果要实现免密码连接到Slave，Master需要先生成一个密钥对，包括一个公钥和一个私钥，并将公钥赋值到Slave上，当Master通过SSH连接Slave的时候，Slave就会生成一个随机数并用Master的公钥加密传送给Master，Master收到后用自己的私钥将随机数解密出来传送给Slave，Slave确认密码无误后就允许Master登录了，期间不需要用户手动输入密码，关键是将Master的公钥发送给Slave。2）Master上生成密钥对ssh-keygen –t rsa –P ‘’在.ssh下会生成id_rsa 和 id_rsa.pub两个文件3）将id_rsa.pub追加到授权的key里面去cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys4)修改authorized_keys权限chmod 600 ~/.ssh/authorized_keys5）设置SSH配置用root用户修改文件vim /etc/ssh/sshd_config6）重启SSH服务service sshd restart7）退出root，用grid账户验证ssh localhost8）将公钥赋值到所有slave节点上scp –r ~/.ssh/id_rsa.pub grid@28:~/9）在slave上对id_rsa.pub的操作mkdir ~/.ssh 创建.ssh目录，如果在slave上也生成了密钥对则不需要chmod 700 ~/.ssh对该目录权限控制cat ~/id_rsa.pub ~/.ssh/authorized_keys 将Master的公钥追加到认证文件chmod 600 ~/.ssh/authorized_keys 权限控制10）修改slave上的/etc/ssh/sshd_config并重启服务11）用Master无密码登录Slave2.3配置所有Slave无密码登录Master1）在slave上生成密钥对ssh-keygen