文本综合kafka配置.pdfVIP

Kafka配置文件

1.Broker

Broker端的配置：broker.id、log.dirs、zookeeper.connect

相关代码的查看类：kafka.server.KafkaConfig

官网查看地址：

1.1.ServerBasics

#标识此broker的唯一ID，要求是integer类型

Broker.id默认值：无

#broker对外提供的服务端口，默认9092

port默认值：9092

#该broker的主机名，如果设置了则只会绑定这个地址,如果不设置则是所

有的网络接口

默认值：null

#通知给producer、consuemr、其它的broker的主机名来连接自己，如果没有设

置此值会使用的值（如果配置了），否则使用

.InetAddress.getCanonicalHostName()的返回值

默认值：null

#对应的端口

advertised.port默认值：null

#处理网络请求的最大线程数

work.threads默认值：3

#处理磁盘I/O的线程数

num.io.threads默认值：8

#一些线程数比如：删除文件操作，一般不更改此设置

background.threads默认值：10

#等待IO线程处理的请求队列最大数

queued.max.requests默认值：500

#socket的发送缓冲区（SO_SNDBUF）

socket.send.buffer.bytes默认值：100*1024

#socket的接收缓冲区(SO_RCVBUF)

socket.receive.buffer.bytes默认值：100*1024

#socket请求的最大字节数。为了防止内存溢出，message.max.bytes必然要小于

socket.request.max.bytes

socket.request.max.bytes默认值：100*1024*1024

1.2.LogBasics

#日志存放，多个使用逗号分割

log.dirs默认值：/tmp/kafka-logs

#每个topic的默认分区个数，的partition会产生的segmentfile

num.partitions默认值：1

#每个数据的恢复线程的数目

num.recovery.threads.per.data.dir默认值：1

1.3.LogFlush

#log分区里当达到下面的消息数量时，会将数据flush到日志文件中。

erval.messages默认值：7【Long.MaxValue】

#当达到下面的时间(ms)时，执行一次强制的flush操作。interval.ms和

interval.messages无论哪个达到，都会flush。

erval.ms默认值：7【Long.MaxValue】

#检查是否需要将日志flush的时间间隔

erval.ms默认值：7【Long.MaxValue】

1.4.LogRetention

#日志清理策略（delete|compact）设置delete会删除那些大小或者时间达到阀

值的logsegment文件，compact只会清除文件中的过时的记录。【会被topic创

建时的指定参数覆盖】

log.cleanup.默认值：delete

#日志保存时间(hours|minutes)，默认为7天（168小时）。超过这个时间会根

据处理数据。bytes和minutes无论哪个先达到都会触发。

#log.retention.{ms,minutes,hours}【会被topic创建时的指定参数覆盖】

log.retention.hours默认值：168

#日志数据的最大字节数。超过这个时间会根据处理数据。-1是不限

制。【会被