- 1、本文档共13页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
RocketMq消息队列实施方案_完整版
消息队列实施方案1、背景异步解耦合、给前端系统提供最高效的反应2、常见消息队列对比2、1ActiveMqActiveMQ是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现优点:Java语言支持集群模式缺点:性能在消息中间件中处于下游2、2RabbitmqRabbitmq是基于AMQP使用erlang语言实现的消息队列系统优点:1、完整的消息队列系统,支持多种消息队列模式,包括竞争消费;2、支持集群模式,扩展集群容量和性能比较方便,集成了集群的监控和管理;3、支持消息的持久化;缺点:1、需要学习比较复杂的接口和协议,比较耗费时间;2、性能不是特别理想大概在1wqps左右;3、使用Erlang语言,语言基础;2、3KafkaKafka 是LinkedIn 开发的一个高性能、分布式的消息发布订阅系统。优点:1、分布式集群可以透明的扩展,增加新的服务器进集群。2、高性能。单机写入TPS约在百万条/秒3、容错。数据都会复制到几台服务器上。缺点:1、复杂性。Kafka需要zookeeper 集群的支持,Topic通常需要人工来创建,部署和维护较一般消息队列成本更高定位于日志传输、存在消息丢失的肯能、消息乱序3、消息发送错误无重试2、4RocketMQRockerMq是阿里公司中间件团队参考Kafka思想,用Java语言实现的消息传输系统优点:1、较高性能,单机写入TPS单实例约7万条/秒2、容错,多种集群模式、可以解决容错问题3、消息重试发送4、顺序消息可以严格执行缺点:1、消息重复、消费端需要做去重操作2、5选用结论从项目业务与团队技术偏向考虑,我们应该需要一种数据安全性比较高,保证每个消息都会被执行;有容错机制、支持集群模式高可用;性能不错,可以在毫秒级处理消息;支持顺序消息的消息中间件,RockerMq可以满足这些要求。3、RockerMq简介3、1RockerMq产品介绍参考阿里公司提供的《RocketMQ开发指南》,最新版针对v3.2.43、2RockerMq集群3、2、1部署方式Rockermq共有四种部署方式,分别是:1、单个 Master一旦Broker 重启或者宕机时,会导致整个服务不可用2、多 Master 模式一个集群无Slave,全是Master,例如2 个Master 戒者3 个Master优点:1、配置简单,2、容错,单个Master 宕机或重启维护对应用无影响,在磁盘配置为RAID10 时,即使机器宕机不可恢复情况下,由于RAID10 磁盘非常可靠,在同步刷盘时消息不会丢,异步刷盘丢失少量消息,3、性能最高。3、多 Master 多 Slave 模式,异步复制每个Master 配置一个或多个Slave,有多对Master-Slave,HA(高可用集群)采用异步复制方式,主备有短暂消息延迟,毫秒级。优点:1、即使磁盘损坏,消息丢失的非常少,消息实时性不会被影响,因为Master 宕机后,消费者仍然可以从Slave 消费,此过程对应用透明。不需要人工干预。性能同多Master 模式几乎一样。缺点:1、Master宕机,磁盘损坏时,因为主备有短暂消息延迟,未复制到slave的消息会丢失。2、目前master宕机后,备机不能自动切换为主机。只有master可以接收消息,若所有master宕机,将不能接收消息4、多 Master 多 Slave 模式,同步双写每个Master 配置一个或多个Slave,有多对Master-Slave,HA 采用同步双写方式,主备都写成功,才返回成功。优点:数据与服务都无单点,Master 宕机情冴下,消费者可以从slave消费、消息无延迟,服务可用性与数据可用性都非常高缺点:1、性能比异步复制模式略低,収送单个消息的RT(返回时间)会略高。2、目前master宕机后,备机不能自动切换为主机。只有master可以接收消息,若所有master宕机,将不能接收消息选用结论由于我们需要保证消息中间件的高可用性,消息不丢失、消息无延迟,所以我们选择“多Master多Slave模式,同步双写”模式。并且选择同步刷盘。3、2、2多Master多Slave模式多master多slave模式网络结构图主要组件有:Name Server、Broker、Producer、Consumer1、Name Server是一个几乎无状态节点,可集群部署,节点之间无信息同步、记录Topic 路由信息。2、Broker分为Master和Slave,一个Master 可以对应多个Slave,但是一个Slave只能对应一个Master。3、Producer与Name Server 集群中的其中一个节点(随机选择)建立长连接,定期从Name Server获取Topic 路由信息,并向提供Topi
您可能关注的文档
- Direct2D入门.doc
- dom相关.doc
- D-LinkDFL-860E透明模式及路由模式调试.docx
- DiscoveryStudio讲义中文.docx
- DSP技术的应用及其发展论文.doc
- dsqc688翻译.doc
- ETC-WSN传感器节点通信协议_V41.doc
- ETC-WSN传感器节点通信协议_V30.doc
- ETL实验报告.doc
- dfs-service-陶瓷膜在生物发酵液分离中的应用.doc
- 德国烈酒生产行业市场前景及投资研究报告-外文版培训课件2024.8,茅台,五粮液.pdf
- 法国巧克力行业市场前景及投资研究报告-外文版培训课件2024.8,tiktok.pdf
- 澳大利亚外卖行业市场前景及投资研究报告-外文版培训课件2024.8,tiktok.pdf
- 非银金融行业市场前景及投资研究报告:上市险企价值率改善,新业务价值稳健增长.pdf
- 美国极刑行业市场前景及投资研究报告-外文版培训课件2024.8,tiktok.pdf
- 电力设备行业2024年市场前景及投资研究报告:电网景气,海外成长性,储能.pdf
- 葡萄牙可再生能源行业市场前景及投资研究报告-外文版培训课件2024.8,风电,光伏,储能.pdf
- 瑞典图书行业市场前景及投资研究报告-外文版培训课件2024.8,tiktok.pdf
- 波兰酒店行业市场前景及投资研究报告-外文版培训课件2024.8,tiktok.pdf
- 雪峰科技-市场前景及投资研究报告:新疆煤炭,强强联合.pdf
文档评论(0)