rocketmq消息自定义_RocketMQ顺序消息.pdfVIP

rocketmq消息⾃定义_RocketMQ顺序消息 我们知道消息队列的特性导致其消息不是顺序进⾏消费的，RocketMQ没有提供所谓的顺序消息来供我们使⽤，但是有时候⼀些场景需要需 要顺序的去接收消息。今天我们重点讨论⼀下如何实现这种功能。虽然RocketMQ没有提供顺序消费但是我们可以变相的来实现它。我们知 道消息需要放⼊队列中才能被消费，⽽队列本⾝的特性就是FIFO先进先出，我们可以将需要顺序的消息放⼊⼀个队列中，则就可以实现这 个功能。 1、场景分析 场景：两个业务系统之间消息通过MQ传输，业务系统A数据传输⾄业务系统B，要求消息准确、实时。但是业务系统A的原始的数据可能会 存在修改的情况，要求业务系统B需要实时的更改。保证消息的实时性、⼀致性、可靠性。 1.1、默认消息⽣产过程分析 主题test_1发送消息到RocketMQ的双主Broker1、Broker2上，每个broker上test_1主题对应4个队列，消息id为001001的消息存在创 建(create)、更新(update),MQ集群是双主的，使⽤默认的消息发送算法，消息将轮询的丢弃到各个队列中。 默认按照轮询算法将消息分发到各个broker的不同的队列中，保证每个队列的消息都是均匀分配，集群消费且消费者多个时，多个消费者会 分散到不同的队列中消费消息，保证消息能够实时消费。 因为消息本⾝是放⼊到不同的队列中消费的就不能保证其顺序性，更新的消息可能是最先被消费掉，创建的消息消费时业务需要判断消息是 否是最新的，需要进⾏查库验证，是则更新，不是则丢弃保存最新的消息，保证业务系统A与业务系统B，数据的⼀致性，增加了业务处理 的难度。 1.2、顺序消息⽣产过程分析 我们在⽣产消息的时候可以将同⼀个消息ID的消息放⼊到相同的队列中，保证同⼀类需要顺序消费的消息放⼊到同⼀个队列中，这样队列中 的消息就是有序的。但是同时也需要保证消息的消费也是有序的才可以保证消息的顺序消费。 集群模式下同⼀个消费组内的消费者共同承担其订阅主题下的消息队列的消费，同⼀个消息消息队列在同⼀时刻只会被消费组内的⼀个消费 者消费，⼀个消费者同⼀时刻可以分配多个消费队列。 集群模式下的普通消息，线程池默认创建20个(可配置)线程。多线程从队列中拉取消息，提⾼并发加快消息的消费。 集群模式下的顺序消息，顺序消费是单线程，⼀个线程只能去⼀个队列获取数据，当需要获取某个队列中的消息时，需要锁定该消息队列 (PS:后⾯会根据源码详细分析其原理)。 ⼴播模式下的顺序消息，顺序消费是单线程，直接进⾏消费，⽆需锁定消息队列，因为相互之间⽆竞争 2、编写Producer 2.1、⾃定义队列选择器 public static void main(String[] args) throws Exception { //Instantiate with a producer group name. DefaultMQProducer producer = new DefaultMQProducer(order_group_test_1); //Launch the instance. producer.setNamesrvAddr(10.10.12.203:9876;10.10.12.204:9876); producer.start(); String[] tags = new String[] {TagA, TagB, TagC, TagD, TagE}; for (int i = 0; i 100; i++) { int orderId = i % 10; //Create a message instance, specifying topic, tag and message body. Message msg = new Message(order_test_1, tags[i % tags.length], KEY + i, (Hello RocketMQ + i).getBytes(RemotingHelper.DEFAULT_CHARSET)); SendResult sendResult = producer.send(msg, new MessageQueueSelector() { @Override public MessageQueue select(List mqs, Message msg, Object arg) { Integer id = (Integer) arg; int index = id % mqs.size(); return mqs.get