Kafka在大数据实时计算中应用与部署.pdfVIP

课堂笔记

消息队列:队列的元素是消息。后来的需要追加，

先进先出。

分布式发布‑订阅消息系统大数据的实时计算离不开Kafka。优酷。Web端作为生产者，生

成用户的行为数据userid、logintime、click、。Kafka作为稳定的，

统计端作为消费者，实时Kafka中的数据进行实时统计指标，如每5分钟内的点击次数。

Kafka服务:Topic:消息的逻辑分类:登录、订阅

、消费。

Kafka节点就是：broker。用于Kafka的数据。

kafka

第一步:启动zk。/opt/kafka/bin/zookeeper‑server‑start.sh/

opt/kafka/config/zookeeper.properties/opt/logs/kafka‑zk.log21错误非预期

的异常，异常(org.apache.zookeeper.server.ZooKeeperServerMain)

java.net.BindException:地址已在使用

Zk:协调服务框架Zk:有自己的data

Dir/tmp/zookeeperZk:默认的端口:

2181。clientPort=2181。

viconfig/server.properties

Kafka:默认端口:9092可以设置

Kafka:绑定zk。Kafka:

log.dirs/tmp/kafka‑logs

/opt/kafka/bin/kafka‑server‑start.sh/opt/kafka/config/server.properties

/opt/logs/kafka‑server.log21

课堂笔记

消息队列：

队列的元素是消息。后来的需要append，先进先出。

分布式的发布-订阅消息系统

大数据的实时计算离不开kafka。

优酷。

Web端作为生产者生产用户的行为数据useridlogintimeclick。

Kafka作为稳定的

统计端作为消费者实时kafka的中的数据进行实时统计指标。每5分钟内的点击次数。

Kafka服务：

Topic：消息的逻辑分类：登录、订阅、消费。

Kafka节点就是：broker。kafka的数据的。

kafka

第一步：启动zk。

/opt/kafka/bin/zookeeper-server-start.sh/opt/kafka/config/zookeeper.properties

/opt/logs/kafka-zk.log21

ERRORUnexpectedexception,exitingabnormally

(org.apache.zookeeper.server.ZooKeeperServerMain)

java.net.BindException:地址已在使用

Zk：协调服务框架

Zk：有自己的dataDir=/tmp/zookeeper

Zk：默认的端口：2181。clientPort=2181。

viconfig/server.properties

Kafka：默认端口：9092可以设置

K