大数据技术基础及应用实验手册8.Kafka消息订阅实战.pdfVIP

8Kafka消息订阅实战

8.1实验背景

Kafka消息订阅系统在大数据业务中有着重要运用，尤其在实时业务中，kafka

是必不可少的组件之一。典型的淘宝猜你喜欢业务，其利用kafka存储页面点击

流数据，待streaming分析后将结果推送给用户。

8.2实验目的

掌握kafkashell端生产者和消费者使用，实现数据的生成和实时消费。

8.3实验前提

实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：

1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看

OMS的状态，显示信息表示主备OMS服务启动正常再执行下一步。

2.在windows-client打开GoogleChrome浏览器登录FusionInsight

Manager地址（00:8080/web）。

3.用户名admin，密码Huawei!@34（如原密码过期，则自行修改密码）

4.登录FusionInsightManager后，单击“服务管理”，选择“更多操作

启动集群”。

5.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，

单击“完成”，集群成功启动。

6.使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设

置与用户认证。

cd/opt/hadoopclient/切换到客户端安装目录。

sourcebigdata_env配置环境变量。

kinituser01进行用户认证，输入用户密码

客户端文件安装于fihosts-1服务器的/opt/hadoopclient目录中，认证用

户user01，密码Huawei!@34

8.4任务一：shell端Kafka消息的生产、消费。

shell端Kafka消息的生产、消费。

步骤1登录Kafka

使用SecureCRT登录服务器，执行source命令设置环境变量，再执行kinit命令

做用户认证

[root@fihosts-1~]#cd/opt/hadoopclient/

[root@fihosts-1hadoopclient]#sourcebigdata_env

[root@fihosts-1hadoopclient]#kinituser01

Passwordforuser01@HADOOP.COM:输入用户user01的密码

进入Kafka目录:cd/opt/client/Kafka/kafka/，第一个Kafka首字母大写

步骤2查看fihosts-3的Zookeeper和Broker的实例业务IP

登录FusionInsightManager页面，点击服务管理”，点击“ZooKeeper”服务，切到

实例”栏：

此IP就是Zookeeper实例的IP地址。

同理，再点击服务管理”中的”Kafka”服务，查看Broker的IP：

此IP就是Kafka实例的IP地址。

步骤3创建Kafka主题

执行命令：

bin/kafka-topics.sh--create--topictopic-1--partitions1

--replication-factor1--zookeeper:24002/kafka

注：此处zookeeper的ip对应的是步骤2中获取Zookeeper的IP。注意执行此命

令是在/opt/hadoopclient/Kafak/kafa目录下

步骤4查看topic

执行命令:

bin/kafka-topics.