Kafka集群架构与高可用性设计.pdfVIP

broker

端的架构原理｜end

▁of▁sentence｜

(1)集群架构:Controller

‑zk

‑broker(2)元数据管理:Controller,Topic

‑Partition

‑

Leader

Follower

‑Broker(3)分布式架构:Topic逻辑数据集合

‑上的多个

Partition

‑分布在多台Broker(4)broker

端的多路复用模型的请求处理架构,自定义二进

制协议

(5)磁盘,os

cache,零拷贝,索引文件,日志文件,定期清理文件

(6)高可用架构:多

副本冗余机制,Leader

Follower

角色分配,leader

‑follower的副本

同步机制,LEO

HW

的更新,ISR

机制,Broker宕机后如何由Controller

感知以及触发Leader重新

(7)

负载均衡架构:所有

partition

的均匀分散在broker

集群,leader

partition

也是均匀分

散在broker集群

(8)延时处理机制:时间轮实现｜end▁of▁sentence｜

生产端的架构原理｜end▁

of▁sentence｜

(1)元数据拉取机制:Topic

‑Partition

‑Leader

Fol