Hadoop大数据技术与项目实战 实训指导书——2.8.2 Kafka常用命令及使用.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

Kafka常用命令及使用

一、任务描述

之前我们安装并配置了Kafka集群，本实训在Kafka集群环境的基础上，练习Kafka

的几个常用基本命令。

二、能力目标

1.熟练掌握Kafka基本命令

2.能理解每个命令的含义

三、任务准备

启动Zookeeper集群

四、任务实施

因为Kafka依赖于Zookeeper，当Kafka启动之后，会把一些元数据保存到Zookeeper

中，从而保证系统的可用性，所以在实施本任务之前，要先启动Zookeeper服务，查看

Zookeeper的角色信息，保证Zookeeper服务处于正常运行状态。

1.启动Zookeeper客户端

在node1节点启动Zookeeper客户端。

[bigdata@node1~]$zkCli.sh-servernode1:2181

查看Zookeeper已存在的数据信息，如下所示。

[zk:node1:2181(CONNECTED)0]ls/

[admin,cluster,config,consumers,controller_epoch,feature,isr_change_notification,

latest_producer_id_block,log_dir_event_notification,zookeeper]

查看完毕，不要关闭此窗口，再复制一个node1的会话窗口。

1

山西职业技术学院《Hadoop大数据技术与项目实战》

2.启动Kafka集群

在node1、node2、node3三个节点中分别启动Kafka服务。

[bigdata@node1~]$kafka-server-start.sh-daemon/opt/module/kafka_2.12-2.7.0/c

onfig/server.properties

[bigdata@node2~]$kafka-server-start.sh-daemon/opt/module/kafka_2.12-2.7.0/c

onfig/server.properties

[bigdata@node3~]$kafka-server-start.sh-daemon/opt/module/kafka_2.12-2.7.0/c

onfig/server.properties

启动命令执行完毕后，使用jps命令看三个节点的Kafka服务进程，若进程均启动，

说明Kafka集群启动成功。node1节点的启动状态如下所示，node2和node3节点的启

动状态同理，不再赘述。

[bigdata@node1~]$jps

67317Kafka

65780QuorumPeerMain

26363ResourceManager

67389Jps

14061NameNode

14189DataNode

66012ZooKeeperMain

26479NodeManager

此时返回到启动了Zookeeper客户端的node1节点窗口，再次查看Zookeeper服

务端的数据信息，可以发现增加了brokers，如下所示。

[zk:node1:2181(CONNECTED)6]ls/

[admin,brokers,cluster,config,consumers,controller,controller_epoch,feature,isr_

change_notification,latest_producer_id_block,log_dir_event_notification,zookeeper]

brokers是Kafka启动后存放在Zookeeper中的一个元数据目录，查看brokers的内

容，如下所示。

2

山西职业技术学院《Hadoop大数据