Kafka集群部署与优化：从架构原理到运维管理.pdfVIP

broker端的架构原理

(1)集群架构:Controller‑zk‑broker(2)元数据管理:Controller,Topic‑分区‑领

导者与跟随者‑Broker(3)分布式架构:Topic逻辑数据集‑上的多个分区‑分布在

多台Broker(4)broker端的多路复用模型的请求处理架构，自定义二进制协议(5)磁盘存

储,操作系统缓存,零拷贝,索引文件,日志文件,定期清理文件(6)高可用架构:多副本冗余机

制,者与跟随者角色分配,者‑跟随者的副本同步机制,最后编辑偏移量与高水位

的更新,ISR机制,Broker宕机后如何由Controller感知并触发者重新(7)负载均

衡架构:所有分区上均匀分布于Broker集群,者分区也均匀分布于Broker集群

(8)延迟处理机制:时间轮实现

生产端的架构原理

(1)元数据拉取机制:Topic‑Partition‑LeaderFollower‑Broker(2)分

区机制，默认的分区策略，hash分区策略(3)缓冲区：数据结构，每个分区有

多个batch(4)Sender线程+batch批量发送，按照broker来聚合多个

batch作为request(5)同步和异步(6)参数：