Kafka Consumer实现原理：从生产者到消费者详细.pdfVIP

生产者‑‑消费者

有一个消费者组的概念，每个消费者初始化启动时，都会发送请求到某个的消费者

组协调器那里，加入组。如果协调器确认一个消费者组组建完毕

此时就会出一个消费者者

消费者者接到自己成为了者，接着就会制定一份分区消费的方案，每个分区

只会分配给一个消费者，一个消费者可以有多个分区，返回给协调器，下发给所有的消费

者知晓

然后大家就开始进行消费了，单线程，一次拉取一批数据来进行消费

___

默认是自动提交偏移量，写入内存消费者偏移量中，实际上就是知道每个消费者组

对一个的各个分区都消费到了哪些位置。假设你的消费者停机了，重启后，此时会接

着上一次提交的偏移量继续进行消费

如果某个consumer挂掉，coordinator感知到了，就会rebalance，把那个挂掉的

consumer的分区分配给其他的consumer。如果在group中新增了一个consumer，此

时会考虑将已有consumer的分区转移给新的consumer来进行消费。

新的consumer可以直接从该分区上次提交的offset