Kafka亿级消息架构设计与实现原理.pdfVIP

broker

端的架构原理

(1)集群架构:Controller

‑zk

‑broker(2)元数据管理:Controller,Topic

‑Partition

‑

Leader与Follower

‑Broker(3)分布式架构:Topic逻辑数据集合

‑上的多个

Partition

‑分布在多台Broker(4)broker

端的多路复用模型请求处理架构，自定义二进

制协议(5)磁盘，os

cache,零拷贝,索引文件,日志文件,定期清理文件(6)高可用架构:多

副本冗余机制，Leader与Follower

角色分配，leader

‑follower的副本同步机制，LEO

与HW

的更新，ISR

机制，Broker宕机后由Controller

感知并触发Leader重新(7)负载

均衡架构:所有partition

物理均匀分散在broker

集群，leader

partition

也均匀分散在

broker集群(8)延时处理机制:时间轮实现

生产端的架构原理

(1)元数据拉取机制：Topic

‑Partition

‑Leader

Follower

‑Broker(2)分

区机制，默认的分区策略，hash

分区策略

(3)缓冲区：数据结构，每个分区有

多个

batch(4)Sende