Kafka架构原理与电商大数据处理.pdfVIP

kafka全链路架构，broker端、生产端、消费端

生产集群规划和部署，和管理，生产服务，消费服务，各个端的参数应该如何来设置，

我们的一个驱动的场景，场景驱动，数据量，10亿消息量的场景下，要多大量的数

据，要支撑多高的并发

broker端机器数量和配置，生产端的机器数量和配置，消费端的机器数量和配置

（1）集群架构：Controller-zk-broker

（2）元数据管理：Controller，Topic-Partition-LeaderFollower-Broker

（3）分布式架构：Topic逻辑数据集合-上的多个Partition-分布在多台Broker

（4）broker端的多路复用模型的请求处理架构，自定义二进制协议

（5）磁盘，oscache，零拷贝，索引文件，日志文件，定期清理文件

（6）高可用架构：多副本冗余机制，LeaderFollower角色分配，leader-follower的副本

同步机制，LEOHW的更新，ISR机制，Broker宕机后如何由Controller感知以及触发Leader

重新

（7）负载均衡架构：所有partition的均