Kafka文件存储机制与分区结构.pdfVIP

Kafka文件机制

分析过程分为以下4个步骤：

中分区分布分区中文件方式

分区中段文件结构在分区中如何通过

偏移量查找消息

通过上述4个步骤的详细分析，我们就能清晰理解Kafka文件机制的奥秘。

2.1topic中partition分布

假设实验环境中Kafka集群只有一个broker，kafka/kafka‑logs为数存储根目录，在Kafka

broker的server.properties文件配置中（参数log.dirs=kafka/kafka‑logs）。例如创建2个topic，名称分

__

别为reportpush和launchinfo，partitions数量均为partitions=4。路径和目录规则为：

kafka/kafka‑logs

|‑‑report_push‑0|‑‑

report_push‑1|‑‑

report_push‑2|‑‑