cloudera5.4.1离线安装与配置.docx

1.基础环境12.准备工作12.1.配置环境22.1.1.配置hosts文件22.1.2.工具安装22.1.3.SSH无密码登入22.1.4.NTP 时间同步32.1.5.SELinux iptables 关闭以及文件权限设置42.2.Java环境安装42.2.1.安装JDK42.2.2.配置环境变量53.cloudera安装配置63.1.1.建立本地资源库63.1.2.配置Media的http源63.1.3.mysql卸载73.1.4.mysql安装73.1.5.数据库初始化84.正式安装94.1.单用户配置94.2.创建用户114.3.指定manager server运行主机与端口114.4.安装配置manager server运行数据库114.5.创建pracel目录124.6.启动manager server与agent124.7.开始安装124.8.高可用174.8.1.Namenode高可用174.8.2.Resource Manager高可用204.9.遇到的问题20基础环境各资源基本要求如下：操作系统：redhat6.4内核版本：内存大小：处理器：Cloudera Manager版本：CM-5.4.1CDH版本：CDH-5.4.1-1.cdh5.4.1.p0.6JDK版本：jdk-7u79-linux-x64本文档针对的机器列表如下：17 hdp-m15 hdp-m22 hdp-s23 hdp-s16hdp-s3所有安装文件、安装包均放到服务器的master节点下的/software目录，根据每台机器安装内容不一样，存放的机器有所不同（hdp-m1,hdp-m2）操作系统环境准备本次配置使用hdp-m1、hdp-m2（生产环境根据实际情况确定主节点的机器台数）作为主master节点。配置环境配置hosts文件所有机器都得执行，使用root用户@ hostname hdp-m2（该命令可用于修改主机名，在各主机上运行对应命令）@ vi /etc/hosts（该命令可用于配置主机名和IP的对应信息）17 hdp-m15 hdp-m22 hdp-s23 hdp-s16hdp-s3@ vi /etc/sysconfig/network（该命令可用于修改网络主机名）NETWORKING=yesHOSTNAME=hdp-m2SSH无密码登入注：如果系统中没有安装SSH，需要进行以上操作。所有机器都得执行，使用root用户@ yum install ssh （安装SSH协议）@ yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）@ service sshd restart （启动服务）注：某此linux操作系统默认未开启以下权限，需进行如下操作。用root用户登录所有服务器修改SSH配置文件/etc/ssh/sshd_config的下列内容。@vi /etc/ssh/sshd_config修改以下选项，将三个选项启用RSAAuthentication yes # 启用 RSA 认证PubkeyAuthentication yes # 启用公钥私钥配对认证方式AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）PermitRootLogin yes #root能使用ssh登录重启SSH服务@service sshd restartStopping sshd: [ OK ]Starting sshd: 以下操作必须进行，用于集群机器之前的无密钥通讯（在Master机器上执行）。@ ssh-keygen（该命令生成指定公私秘钥的名字，id_rsa及id_rsa.pub）@ cat /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys（把id_rsa.pub追加到授权的key里面去,如果有多个master节点则需把所有的master节点上id_rsa.pub文件内容整合到authorized_keys文件中）@ ll /root/.ssh/（查看共私钥、授权key）@ ssh-copy-id -i id_rsa.pub root@hdp-m1（将公钥copy到所有的机器上）@ssh hdp-m1（测试SSH无密码登入是否成功）NTP 时间同步Hdp-m2节点作主节点，其他节点时间以此机器为准进行同步。（使用root用户）将server上/etc/ntp.conf文件中以下两行的注释打开@vim /etc/ntp.confserver f