Kafka架构与集群部署优化.pdfVIP

broker

端的架构原理

(1)集群架构：Controller

‑zk

‑broker(2)元数据管理：Controller,Topic

‑

Partition

‑Leader

Follower

‑Broker(3)分布式架构：Topic逻辑数据集合

‑上

的多个Partition

‑分布在多台Broker(4)broker

端的多路复用模型的请求处理架构，自

定义二进制协议

(5)磁盘，os

cache，零拷贝，索引文件，日志文件，定期清理文件

(6)高可用架构：多副本冗余机制，Leader

Follower

角色分配，leader

‑follower的副

本同步机制，LEO

HW

的更新，ISR

机制，Broker宕机后如何由Controller

感知以及触

发Leader重新

(7)负载均衡架构：所有

partition

的均匀分散在broker

集群，

leader

partition

也是均匀分散在broker集群

(8)延时处理机制：时间轮实现

生产端的架构原理

(1)元数据拉取机制：Topic

‑Partition

‑Leader

Follower

‑Broker(2)分

区机制，默认的分区策略，hash

分区策略

(3)缓冲区：数据结