Kafka全链路高吞吐低延迟性能优化策略与实践.pdfVIP

你首先上需要针对一些问题设计对应的生产方案，解决各种问题

随之而来的就是做一些细节性的调优，消息流转质量的，平均每条消息流转完一个链路

的延迟，消息从第一次发送到kafka里去，到最终计算完毕写入中，一共耗时多长时间，

几百毫秒

在链路流转的过程中，每个环节，可能sparkstreaming，有很多个作业都会对一个消息进行

处理，java服务对一个消息进行处理，消息流转经过每个环节耗时多久

kafka调优：低延迟、高吞吐

如果你一个消息进入kafka到流转完一条链路出来，需要耗时几分钟，或者是几十分钟的话，

那么就一定是有问题的

kafka延迟的地方，主要是几块，生产端，batch.size过大，linger.ms过大，会导致消息的延

迟就比较大，acks对延迟的影响是很大的

broker端，主要是processor、handler线程数量要足够多才能高效率高吞吐的处理各种消息

的进入，oscache一定要关注好，acks是有关系的

consumer端，主要是你拉取到一条消息后交给线程池来处理的，如果你的线程池处理的太

慢，或者是数量不够多，线程池都满了，此时拉取到了消息也没办法来处理，此时会导致吞

吐量下降，延迟提高

高吞吐，也是通过消息的来观察的，你需要去看一下最开始写入