Rocketmq实例以及详解.pdfVIP

Rocketmq 实例以及详解 ⼀.为什么⽤ Mq 服务之间通信的中间件。 可以让应⽤之间解耦，相互之间依赖减⼩，形成异步调⽤。还可以⽤来流量削峰。数据分发。 但是会有消息⼀致性问题，系统复杂性增加，如果Mq宕机，系统可⽤性会降低。 ⼆.特点 灵活可扩展，⽀持海量消息单机10万级别，使⽤⽂件做持久化, 并⽀持分布式事务(虽然可能造成较多的写脏), 异步刷盘,内存预分配, ⾼可 ⽤采⽤了同步双写及异步复制的⽅式 三.介绍 RocketMQ 是阿⾥巴巴在2012年开源的分布式消息中间件，⽬前已经捐赠给 Apache 软件基⾦会，并于2017年9⽉25⽇成为Apache 的顶级项⽬。作为经历过多次阿⾥巴巴双⼗⼀这种“超级⼯程”的洗礼并有稳定出⾊表现的国产中间件，以其⾼性能、低延时和⾼可靠等特 性近年来已经也被越来越多的国内企业使⽤。 其主要功能有1.灵活可扩展性、2.海量消息堆积能⼒、3.⽀持顺序消息、4.多种消息过滤⽅式、5.⽀持事务消息、6.回溯消费等常⽤功能。 RocketMQ 核⼼的四⼤组件： Name Server(消息的总控制)、是⼀个⼏乎⽆状态节点，可集群部署，节点之间⽆任何信息同步。 在消息队列 RocketMQ 中提供命 名服务，更新和发现 Broker 服务。 NameServer即名称服务，两个功能： 接收broker的请求，注册broker的路由信息 接收client（producer/consumer）的请求，根据某个topic获取其到broker的路由信息 NameServer没有状态，可以横向扩展。每个broker在启动的时候会到NameServer注册； Producer在发送消息前会根据 topic到NameServer获取路由(到broker)信息；Consumer也会定 时获取topic路由信息。 Broker(分发消息)，消息中转⾓⾊，负责存储消息，转发消息，可以理解为消息队列服务器，提供了消息的接收、存储、拉取和转发服务。 broker是RocketMQ的核⼼，它不不能挂的，所以需要保证broker的⾼可⽤。 Producer(⽣产者)、 Consumer(消费者) ， 每个组件都可以部署成集群模式进⾏⽔平扩展。 消息由topic区分消息类型(⼀级分类)：如订单消息，物流消息等 tag为⼆级分类 message queue为消息类型下的消息队列。 ⽤于并⾏发送和接受消息。 模式：broker分为 Master Broker 和 Slave Broker，⼀个 Master Broker 可以对应多个 Slave Broker，但是⼀个 Slave Broker 只能 对应⼀个 Master Broker Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表⽰Master，⾮0表⽰Slave。 Master也可以部署多个。 　　　　每个Broker与Name Server集群中的所有节点建⽴长连接，定时注册Topic信息到所有Name Server。Broker 启动后需要完成 ⼀次将⾃⼰注册⾄ Name Server 的操作；随后每隔 30s 定期向 Name Server 上报 Topic 路由信息。Master Broker 和其对应的 Slave Broker会进⾏数据同步 单master模式 可靠性低风险⼤，宕机后服务将不可⽤，线上线上慎⽤ 多master模式 配置简单，单master宕机或重启，其他master还可以继续提供服务 多master多slaver(异步复制)（主从模式）即使磁盘损坏，因为还有从服务，只会丢失异步复制瞬间差的⾮常少量数据。性能和多 master差不多 多master多slaver(同步复制)(主从模式) 服务可⽤性和数据的可靠性都⾮常⾼，消息⽆延迟，丢失概率低。但是性能相对咯低。 四.集群⼯作流程 1.启动NameServer, NameServer起来后监听端⼝，等待Broker. Producer. Consumer连 上来，相当于-个路由控制中⼼。 2. Broker启动，跟所有的NameServer保持长连接，定时发送⼼跳包。⼼跳包中包含当前Broker信息(IP+端⼝等)以及存储所有Topic信 息。注册成功后，NameServer集群中就有Topic跟Brok