Cloudera大数据平台环境搭建CDH傻瓜式说明书.docxVIP

Cloudera 大数据平台环境搭建 （CDH5.13.1 版） 版本 版本 作者 发布日期 v1.0 郭维忠 2018-03-10 目录 Cloudera 大数据平台环境搭建 1. 基础环境 1.1. 软件环境 1.2. 配置规划 1.3. 所需要的软件资源 1.4. 修改机器名（所有节点） 1.5. 设置防火墙（所有节点） 1.6. 配置免密码登录 SSH 1.7. 关闭 SELINUX（所有节点） 1.8. 修改 Linux 内核参数（所有节点） 1.9. 其他安装与配置（所有节点） 1.10. 配置 NTP 服务 1.11. 安装 oracle JDK1.8 （所有节点） 1.12. Mysql 安装（主节点） 2. 安装 CM 2.1. 传包，解包 2.2. 创建数据库 2.3. 创建用户 2.4. 制作本地 YUM 源 2.5. 拷贝 jar 包 2.6. 修改 cloudera-scm-agent 配置 2.7. 启动 CM Server 和 Agent 2.8. 访问 CM 3. 安装 CDH 3.1. 登录后界面 3.2. 选择 CM 版本 3.3. 指定主机 3.4. 选择 CDH 版本 出现 “主机运行状态不良”错误 3.5. 检查主机正确性 3.6. 选择安装的服务 3.7. 角色分配 3.8. 数据库设置 测试连接报错： 3.9. 群集设置 3.10. 开始安装 3.11. 安装完成 警告信息： 4. 常见错误 4.1. 初始化数据库错误： 4.2. 未能连接到 Host Monitor 基础环境 软件环境 本文将介绍 Centos7.4 离线安装 CDH 和 Cloudera Manager 过程，软件版本如下： NO. 软件名称操作系统JDK Clouder Manager CDH 数据库 JDBC 版本 Centos7.4 64 位jdk-8u151-linux-x64 5.13.1 5.13.1 Mysql 5.7 mysql-connector-java-.jar 配置规划 本次安装共 5 台服务器，服务器配置及用途如下： NO. 机器名称 内网 IP 配置 用途 node168 8C/32Gb/1TB 主，CM，MysqlDB node169 9 8C/32Gb/1TB 从 node170 70 8C/32Gb/1TB 从 node171 71 8C/32Gb/1TB 从 node172 72 8C/32Gb/1TB 从 所需要的软件资源 JDK 环境： 51 jdk-8u151-linux-x64.rpm 下载地址： CM 包 ： CM 版本：5.13.1 下载地址： CDH 包 CDH 版本：5.13.1， ； .sha1； manifest.json 下载地址： JDBC 连接 jar 包： jar 包版本：5.1.43， mysql-connector-java-5.1.43.jar 下载地址： 修改机器名（所有节点） 修改机器名称 # hostnamectl # hostnamectl set-hostname xxx //设置机器名#hostname // 查看本机名 这种方式，在 Centos7 中可以永久性改变主机名称。 每个节点机器，都要配置 hosts # vi /etc/hosts # vi /etc/hosts 内容都改为： 1 1//建议保留此行 设置防火墙（所有节点） 注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。防火墙常用命令： # # firewall-cmd --state（ 查 询 防 火 墙 状 态 ） #systemctl stop firewalld.service （关闭防火墙） #systemctl start firewalld.service （开启防火墙） #systemctl disable firewalld.service （禁止firewall 开机启动） 设置防火墙策略，在所有节点执行下面脚本（执行前要启动防火墙）： //集群机器间可以相互访问 //集群机器间可以相互访问 //设置可以访问的端口 firewall-cmd --permanent --add-port=0-65535/tcp firewall-cmd --reload 注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时开放所有端口是为 了安装起来方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。 配置免密码登录 SSH 将子节点设置为从主节点 ssh 无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题） 在主节点上执行： #cd~ //进入