Kafka核心设计与实践原理总结-进阶篇.docxVIP

? ? Kafka核心设计与实践原理总结 进阶篇 ? ? kafka作为当前热门的分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。我学习了《深入理解Kafka：核心设计与实践原理总结》一书后，对其中主要的知识点进行了总结，便于理解和掌握kafka的原理和应用。在这里分享出来，希望也能帮助到大家。总结的知识点分为两部分： 基础篇：基本概念、生产者和消费者的使用和原理，以及主题和分区的管理… 进阶篇：深入解析kafka服务端（broker）、客户端的进阶原理（包括重分配、事务等）、kafka的高级应用… （点击跳转） 五、日志存储 1.文件目录布局 一个分区副本对应一个日志(Log)，一个日志会分配成多个日志分段(LogSegment)，Log在物理上以文件夹形式存储，而LogSegment对应磁盘上的一个日志文件和2个索引文件及可能的其他文件 向Log追加消息时是顺序写入的，只有最后一个LogSegment才能执行写入，称为activeSegment，满足一定条件时，需要创建新的activeSegment 每个日志及索引的文件名根据基准偏移量(BaseOffset)命名，表示当前LogSegment中第一条消息的offset broker配置了多个根目录时，会挑选分区数最少的根目录来创建主题 2.日志格式 消息压缩 Kafka 会将多条消息一起进行压缩，生