RocketMQ（三）RocketMQ怎么保证的消息不丢失？.pdfVIP

RocketMQ （三）RocketMQ怎么保证的消息不丢失？ ⼀、消息发送过程 我们将消息流程分为如下三⼤部分，每⼀部分都有可能会丢失数据。 ⽣产阶段：Producer通过⽹络将消息发送给Broker，这个发送可能会发⽣丢失，⽐如⽹络延迟不可达等。 存储阶段：Broker肯定是先把消息放到内存的，然后根据刷盘策略持久化到硬盘中，刚收到Producer的消息，再内存中了，但是异常宕机了，导致消息丢失。 消费阶段：消费失败了其实也是消息丢失的⼀种变体吧。 ⼆、Producer⽣产阶段 Producer通过⽹络将消息发送给Broker，这个发送可能会发⽣丢失，⽐如⽹络延迟不可达等。 1、解决⽅案⼀ 1.1、说明 有三种send⽅法，同步发送、异步发送、单向发送。我们可以采取同步发送的⽅式进⾏发送消息，发消息的时候会同步阻塞等待broker返回的结果，如果没成功，则不会收到 SendResult ，这种是最可靠的。其次是异步发送，再回调⽅法⾥可以得知是否发送成功。单向发送（OneWay）是最不靠谱的⼀种发送⽅式，我们⽆法保证消息真正可达。 1.2、源码 /** * {@link org.apache.rocketmq.client.producer.DefaultMQProducer} */ // 同步发送 public SendResult send(Message msg) throws MQClientException, RemotingException, MQBrokerException, InterruptedException {} // 异步发送，sendCallback作为回调 public void send(Message msg,SendCallback sendCallback) throws MQClientException, RemotingException, InterruptedException {} // 单向发送，不关⼼发送结果，最不靠谱 public void sendOneway(Message msg) throws MQClientException, RemotingException, InterruptedException {} 2、解决⽅案⼆ 2.1、说明 发送消息如果失败或者超时了，则会⾃动重试。默认是重试三次，可以根据api进⾏更改，⽐如改为10次： producer.setRetryTimesWhenSendFailed(10); 2.2、源码 /** * {@link org.apache.rocketmq.client.producer.DefaultMQProducer#sendDefaultImpl(Message, CommunicationMode, SendCallback, long)} */ // ⾃动重试次数，this.defaultMQProducer.getRetryTimesWhenSendFailed()默认为2，如果是同步发送，默认重试3次，否则重试1次 int timesTotal = communicationMode == CommunicationMode.SYNC ? 1 + this .defaultMQProducer.getRetryTimesWhenSendFailed() : 1; int times = 0; for (; times timesTotal; times++) { // 选择发送的消息queue MessageQueue mqSelected = this .selectOneMessageQueue(topicPublishInfo, lastBrokerName); if (mqSelected != null) { try { // 真正的发送逻辑，sendKernelImpl。 sendResult = this .sendKernelImpl(msg, mq, communicationMode, sendCallback, topicPublishInfo, timeout - costTime); switc (communicationMode) { case ASYNC: return