变电站大数据项目部署运维手册.pdfVIP

变电站大数据项目

部署运维手册

XX科技股份有限公司编制

目录

一、文章编写目的5

二、前置准备5

2.1配置网络ip5

2.2编写相操作脚本8

1.批量执行命令脚本8

2.批量重命名脚本9

3.批量拷贝脚本10

4.cmmigrate,sh12

5.format2.sh12

6.mountDisk.sh12

7.network,sh13

8.node,ist14

9.node,txt14

2.3hostname及hosts酉己置14

1.配置每台节点的hostname14

2.配置节点ip、hostname映射15

2.4禁用SELinux15

2.5闭防火墙16

2.6设置swappiness17

2.7闭透明大页面18

2.8配置操作系统本地yum源19

2.9安装htp服务20

2.10集群时钟同步23

L所有机器卸载chrony23

2.所有机器安装ntp23

3.nodel机器配置时钟与自己同步23

4.集群其它节点，配置找nodel机器去同步23

5.重启所有机器的ntp服务24

6.验证始终同步，在所有节点执行ntpq-p命令，如下使用脚

本批量执行24

2.11安装MariaDB24

三、ClouderaManager安装29

3.1配置本地CM源29

3.2安装ClouderaManagerServer32

四、CDH安装33

4.1CDH集群安装向导33

4.2集群设置安装向导40

五、HBASE安装44

5.1准备工作：44

5.2安装：44

1.下载hbasel.3.244

2.解压44

3.配置环境变量~/.base_profiIe44

4.hbase-env.sh酉己置javahomc和ZK45

5.hbase-site.xml酉己置参数45

6.HESregionserver46

7.scp-rhbase到其他节点46

六、Flume安装47

6.1安装47

七、Kafka安装：47

7.1安装47

一、文章编写目的

本文档主要描述Cloudera变电站大数据平台的安装主要分为4个步骤:

1.集群服务器配置，包括安装操作系统、闭防火墙、同步服务器时

钟等，又称为集群安装的前置准备，于更多前置条件准备也可以

参考之前的文档C《DH安装前置准备》；

2.安装ClouderaManager：

3.通过ClouderaManager的WebUI向导式安装CDH集群;

4.集群完整性检查，包括HDFS文件系统、MapReduce、Hive等是否

可以正常运行。

本文操作说明基于以下假设：

1.操作系统版本：Redhat7.4

2.CDH和CM版本均为5.16.1

3.采用root对集群进行部署

4.您已经下载CDH和CM的安装包

二、前置准备

2.1配置网络ip

开启虚拟机，修改配置文件

输入如下命令

11/etc/sysconfig/network-scripts/ifcfg-*

会出现如下内容（ifcfg-ens后