项目二 工业制造数据采集-1-3.pptx

项目二工业制造数据采集工业大数据采集技术主讲：罗金凯

工业制造数据采集概述Kafka概述Kafka集群搭建Kafka集群消息订阅与发布分布式采集原理与实现工业制造电力变压数据采集案例CONTENTS

Kafka集群搭建03

Kafka集群搭建——部署环境本节中，将在三台节点（主机名分别为master、slave1和slave2）上部署分布式的Kafak集群，节点配置信息如下。主机名Ip地址说明Master192.168.56.2Kafka节点1Slave1192.168.56.3Kafka节点2Slave2192.168.56.4Kafka节点3

Kafka集群搭建——部署环境本节中，将在三台节点（主机名分别为master、slave1和slave2）上部署分布式的Kafak集群，系统及Kafka版本信息如下。项目版本说明节点操作系统CentOS7.5MinimalKafkakafka_2.12-3.4.0Kafak3.4.0JDK1.8.0Scala2.12.0Zookeeper3.8.0

Kafka集群搭建——部署步骤（1）上传安装包到master节点的/opt/bigdata/目录（2）解压安装包到/opt/bigdata/目录tar–zxvfkafka_2.12-3.4.0.tgz

Kafka集群搭建——部署步骤（3）配置环境变量vim~/.bash_profile新增KAFKA_HOME变量exportKAFKA_HOME=/opt/bigdata/kafka同时将kafka的bin目录加入到PATH中exportPATH=$PATH:$KAFKA_HOME/bin保存退出后，使用source命令将变量生效。

Kafka集群搭建——部署步骤（4）进入配置文件目录（config），打开并编辑server.properties文件

Kafka集群搭建——部署步骤（4）分发配置好的Kafka目录将Master节点上已经配置好的Kafka包整个目录以及环境变量文件发送到Slave1和Slave2节点scp-r/opt/bigdata/kafka_2.12-3.4.0Slave1:/opt/bigdata/scp-r/opt/bigdata/kafka_2.12-3.4.0Slave2:/opt/bigdata/scp~/.bash_profileSlave1:/root/scp~/.bash_profileSlave2:/root/

Kafka集群搭建——部署步骤（5）修改Slave1和Slave2节点的Kafka的broker.id修改Slave1节点broker.id，设置为2。vim/opt/bigdata/kafka_2.12-3.4.0/config/server.properties修改Slave1节点broker.id，设置为3。vim/opt/bigdata/kafka_2.12-3.4.0/config/server.properties

Kafka集群搭建——部署步骤（6）启动集群依次在Master、Slave1、Slave2节点上启动kafka。[user@Masterkafka_2.12-3.4.0]$bin/kafka-server-start.sh-daemon/opt/bigdata/kafka_2.12-3.4.0/config/server.properties

Kafka集群搭建——部署步骤（6）启动集群依次在Master、Slave1、Slave2节点上启动kafka。[user@Slave1kafka_2.12-3.4.0]$bin/kafka-server-start.sh-daemon/opt/bigdata/kafka_2.12-3.4.0/config/server.properties

Kafka集群搭建——部署步骤（6）启动集群依次在Master、Slave1、Slave2节点上启动kafka。[user@Slave2kafka_2.12-3.4.0]$bin/kafka-server-start.sh-daemon/opt/bigdata/kafka_2.12-3.4.0/config/server.properties

THANKS