Kafka设计原理与控制器机制详解.pdfVIP

Kafka设计原理详解

Kafka核⼼总控制器Controller

在Kafka集群中会有⼀个或者多个broker，其中有⼀个broker会被选举为控制器（KafkaController），它负责管理整个

集群中所有分区和副本的状态。

当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。

当检测到某个分区的ISR集合发⽣变化时，由控制器负责通知所有broker更新其元数据信息。

当使⽤kafka-topics.sh脚本为某个topic增加分区数量时，同样还是由控制器负责分区的重新分配。

Controller选举机制

在kafka集群启动的时候，会⾃动选举⼀台broker作为controller来管理整个集群，选举的过程是集群中每个broker都会

尝试在zookeeper上创建⼀个/controller临时节点，zookeeper会保证有且仅有⼀个broker能创建成功，这个broker

就会成为集群的总控器controller。

当这个controller⻆⾊的broker宕机了，此时zookeeper临时节点会消失，集群⾥其他broker会⼀直监听这个临时节

点，发现临时节点消失了，就竞争再次创建临时节点，就是我们上⾯说的选举机制，zookeeper⼜会保证有⼀个

broker成为新的