KAFKA配置文件详解.pdf

KAFKA配配置置⽂⽂件件详详解解

kafka配配置置⽂⽂件件详详解解

kafka的配置分为broker、consumer、producter三个不同的配置conf⽬录下

broker对应的⽂件是perties

1系统相关

2##每⼀个broker在集群中的唯⼀⽰，要求是正数。在改变IP地址，不改变broker.id的话不会影响consumers

3broker.id=1

4

5##kafka数据的存放地址，多个地址的话⽤逗号分割/tmp/kafka-los-1，/tmp/kafka-los-2

6lo.dirs=/tmp/kafka-los

7

8##提供给客户端响应的端⼝

9port=6667

10

11##消息体的最⼤⼤⼩，单位是字节

12messae.max.bytes=1000000

13

14##broker处理消息的最⼤线程数，⼀般情况下不需要去修改

15work.threads=3

16

17##broker处理磁盘IO的线程数，数值应该⼤于你的硬盘数

18num.io.threads=8

19

20##⼀些后台任务处理的线程数，例如过期消息⽂件的删除等，⼀般情况下不需要去做修改

21backround.threads=4

22

23##等待IO线程处理的请求队列最⼤数，若是等待IO的请求超过这个数值，那么会停⽌接受外部消息，算是⼀种⾃我保护机制

24queued.max.requests=500

25

26##broker的主机地址，若是设置了，那么会绑定到这个地址上，若是没有，会绑定到所有的接⼝上，并将其中之⼀发送到ZK，⼀般不设置

27host.name

28

29##打⼴告的地址，若是设置的话，会提供给producers,consumers,其他broker连接，具体如何使⽤还未深究

30advertised.host.name

31

32##⼴告地址端⼝，必须不同于port中的设置

33advertised.port

34

35##socket的发送缓冲区，socket的调优参数SO_SNDBUFF

36socket.send.buffer.bytes=100*1024

37

38##socket的接受缓冲区，socket的调优参数SO_RCVBUFF

39socket.receive.buffer.bytes=100*1024

40

41##socket请求的最⼤数值，防⽌serverOOM，messae.max.bytes必然要⼩于socket.request.max.bytes，会被topic创建时的指定参数覆盖

42socket.request.max.bytes=100*1024*1024

43

44LOG相关

45##topic的分区是以⼀堆sement⽂件存储的，这个控制每个sement的⼤⼩，会被topic创建时的指定参数覆盖

46lo.sement.bytes=1024*1024*1024

47

48##这个参数会在⽇志sement没有达到lo.sement.bytes设置的⼤⼩，也会强制新建⼀个sement会被topic创建时的指定参数覆盖

49lo.roll.hours=24*7

50

51##⽇志清理策略选择有：delete和compact主要针对过期数据的处理，或是⽇志⽂件达到限制的额度，会被topic创建时的指定参数覆盖

52lo.cleanup.policy=delete

53

54##数据存储的最⼤时间超过这个时间会根据lo.cleanup.policy设置的策略处理数据，也就是消费端能够多