Kafka如何保证消息的顺序性.docxVIP

Kafka如何保证消息的挨次性 2021-12-02 1. 问题 比如说我们建了一个 topic，有三个 partition。生产者在写的时候，其实可以指定一个 key，比如说我们指定了某个订单 id 作为 key，那么这个订单相关的数据，肯定会被分发到同一个 partition 中去，而且这个 partition 中的数据肯定是有挨次的。消费者从 partition 中取出来数据的时候，也肯定是有挨次的。到这里，挨次还是 ok 的，没有错乱。接着，我们在消费者里可能会搞多个线程来并发处理消息。由于假如消费者是单线程消费处理，而处理比较耗时的话，比如处理一条消息耗时几十 ms，那么 1 秒钟只能处理几十条消息，这吞吐量太低了。而多个线程并发跑的话，挨次可能就乱掉了。 2. 处理方案 一个 topic，一个 partition，一个 consumer，内部单线程消费，单线程吞吐量太低，一般不会用这个。 写 N 个内存 queue，具有相同 key 的数据都到同一个内存 queue；然后对于 N 个线程，每个线程分别消费一个内存 queue 即可，这样就能保证挨次性。