Kafka新旧版Consumer实现原理对比.pdfVIP

生产者和消费者API原理，都是新版本的KafkaAPI

老版本的kafkaconsumerapi分为两种，high‑level和low‑level，都是基于zk实现的，

只不过前者有consumergroup的概念，后者没有

高级的API,比如说消费者启动就是在Zookeeper里写一个临时节点,但是如果自己宕机

了,那么Zookeeper临时节点就没了,别人就会发现,然后就会开启重新平衡

然后在消费的时候，可以指定多个线程来消费一个topic，比如说你和这个consumer分配

到了5个分区，那么你可以指定最多5个线程，每个线程消费一个分区的数据，但是新版

本的就一个线程负责消费所有分区。

在提交offset，就是向zk写入对某个分区现在消费到了哪个offset了，默认60秒才提交

一次

新版本的api就不基于zk来实现了呢，zk主要是做轻量级的分布式协调、元数据，并

不适合高并发大量连接的场景，consumer可能有成百上千个，成千上万个，用zk来做的

话，连接的，高并发的读写

broker基于zk来进行协调

producer和consumerapi原理，都是新版本的kafkaapi

老版本的kafkaconsumerapi分成两种，high-level和low-level，都是基于zk实现的，只不过