《大数据分析技术应用》课件——66.Kafka消息队列原理.pptxVIP

kafka消息队列原理

Kafka消息发送与消费机制

Kafka索引机制

目录

Kafka消息发送与消费机制

01

生产者将消息发送到Kafka的某个Topic，并指定消息的Key和Value。

生产者发送消息

分区策略

副本机制

消息发送确认

Kafka根据Key和分区算法，将消息分配到不同的分区中，以提高消息的并发处理能力。

Kafka的每个分区都有多个副本，以确保数据的高可用性和可靠性。

生产者可以通过确认机制确保消息已被Kafka成功接收并存储。

消息发送流程及原理

A

B

C

D

消费者拉取模式

消费者主动从Kafka中拉取消息进行消费，这种模式下消费者可以控制消费的速率。

偏移量管理

Kafka为每个消费者组保存一个偏移量，记录该组已经消费的消息位置，以确保消息不会重复消费或遗漏。

消费者组

Kafka允许消费者组成消费者组，共同消费一个Topic中的消息，以实现负载均衡和容错。

消息消费确认

消费者在消费完消息后需要向Kafka提交消费确认，以确保消息已被成功处理。

消息消费模式及策略

Offset偏移量

Offset是用于定位分区中消息的顺序编号

Offset用于在分区中唯一标识消息

使用Zookeeper维护Offset

ConsumerGroup（消费者组）

为了加快读取速度，多个Consumer可划分为一个组（ConsumerGroup,CG），并行消费