RocketMQ集群部署.docx

RocketMQ集群部署网络部署图RocketMQ 网络部署特点Name Server 是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。Broker 部署相对复杂，Broker 分为Master 与Slave，一个Master 可以对应多个Slave，但是一个Slave 只能对应一个Master，Master 与Slave 的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0 表示Master，非0 表示Slave。Master 也可以部署多个。每个Broker 与NameProducer 与Name Server 集群中的其中一个节点（随机选择）建立长连接，定期从Name Server 取Topic 路由信息，并向提供Topic 服务的Master 建立长连接，且定时向Master 发送心跳。Producer 完全无状态，可集群部署。Consumer 与Name Server 集群中的其中一个节点（随机选择）建立长连接，定期从Name Server 取Topic 路由信息，并向提供Topic 服务的Master、Slave 建立长连接，且定时向Master、Slave 发送心跳。Consumer既可以从Master 订阅消息，也可以从Slave 订阅消息，订阅规则由Broker 配置决定。Broker集群部署方式主要有以下几种：（Slave 不可写，但可读）单个Master这种方式风险较大，一旦Broker 重启或者宕机时，会导致整个服务不可用，不建议线上环境使用。多Master模式一个集群无 Slave，全是 Master，例如 2 个 Master 或者 3 个 Master。优点：配置简单，单个Master 宕机或重启维护对应用无影响，在磁盘配置为 RAID10 时，即使机器宕机不可恢复情况下，由于RAID10 磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢）。性能最高。缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到受到影响。先启动 NameServer，例如机器 IP 为：01:9876nohup sh mqnamesrv 1在机器 A，启动第一个 Masternohup sh mqbroker -n01:9876-c$ROCKETMQ_HOME/conf/2m-noslave/perties 1在机器 B，启动第二个 Masternohup sh mqbroker -n02:9876-c$ROCKETMQ_HOME/conf/2m-noslave/perties 1多Master多Slave模式，异步复制每个 Master 配置一个 Slave，有多对Master-Slave，HA 采用异步复制方式，主备有短暂消息延迟，毫秒级。优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为 Master 宕机后，消费者仍然可以从 Slave 消费，此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。缺点：Master宕机，磁盘损坏情况，会丢失少量消息。先启动两台服务器的NameServer，例如机器 IP 为：01:9876 和02:9876nohup sh mqnamesrv 1$ROCKETMQ_HOME/log/ng.log2$ROCKETMQ_HOME/log/ng-error.log 1在机器 A，启动第一个 Masternohup sh mqbroker -n01:9876-c$ROCKETMQ_HOME/conf/2m-2s-async/perties $ROCKETMQ_HOME/log/mq.log1在机器 B，启动第二个 Masternohup sh mqbroker -n02:9876-c$ROCKETMQ_HOME/conf/2m-2s-async/perties $ROCKETMQ_HOME/log/mq.log1在机器 C，启动第一个 Slavenohup sh mqbroker -n01:9876-c$ROCKETMQ_HOME/conf/2m-2s-async/perties $ROCKETMQ_HOME/log/mq.log1在机器 D，启动第二个 Slavenohup sh mqbroker -n02:9876-c$ROCKETMQ_HOME/conf/2m-2s-async/perties $ROCKETMQ_HOME/log/mq.log1多Master多Slave模式，同步双写每个 Master 配置一个 Slave，有多对Master-Slave，HA 采用同步双写方式，主备都写成功，向应用返回成功。优点：数据与服务都无单点，Mast