陈舟锋《阿里云消息服务的相关技术架构》.docxVIP

阿里云消息服务技术架构

阿里云飞天事业部-存储服务陈舟锋

自我介绍

?陈舟锋

阿里云飞天事业部存储服务团队高级专家，目前负责消息服务MNS云产

品的研发。履历：

2010年加入阿里云，参与阿里云核心平台飞天的研发测试，其中比较自豪的事情是参与了飞天5K项目。

广义消息

?日常生活中都有哪些消息？

?短信

?邮件

?IM信息?信件

?口信

?…

消息人类信息沟通交流的载体，消息无处不在!

计算世界也一样，而且对消息的处理要求更高！

传统消息软件

消息软件特点：

?技术门槛较高

?需要专门运维

?一次投入较高

?弹性能力有限

、,ActiveMO

、,ActiveMO

阿里云消息服务MNS产品特点

数据高可靠：99低门槛：即开即用

数据高可靠：99

低门槛：即开即用

阿里云

阿里云消息服务

服务高可用：99.9%

零运维：

零运维：7*24小时技术支持

安全:RAM，多用户隔离低成本：按需使用、按量付费

安全:RAM，多用户隔离

低成本：按需使用、按量付费

弹性:队列数，消息堆积，无上限服务化：

弹性:队列数，消息堆积，无上限

服务化：HTTPRestful标准接口

阿里云消息服务功能

队列模型（Queue）

?一对一消费模型(共享)

?多种队列：普通队列，延迟队列、优先级队列

?自由并发度

?保证至少消费一次

主题模型（Topic）

?一对多消费模型（广播）

?服务端主动发起

?多种投递方式（Http/Https,邮件,短信,Queue）

阿里云消息服务MNS架构

高可用的实现

?每个用户队列会有多个服务切片

?同个用户的服务切片分布到不同物理机

?物理机fail时，服务切片可以快速迁移

实现任何单物理机fail都不影响服务可用性。

高可靠的实现

?数据写到飞天盘古分布式系统

?每条消息会存三个副本

?自动副本replication

实现数据10个9的可靠性

高安全性的实现

?多层次安全防护和防Ddos攻击

?支持RAM，主子账号，临时AK

?控制台，API访问均支持Https方式

?用户数据独立命名空间，彼此隔离

?请求报文，消息处理句柄具备时效性

弹性的实现

?元数据分片具备自动分裂能力。

?数据节点可以水平扩展。

?前端http服务节点可以水平扩展。

实现消息队列数/主题数无上限，消息堆积数无上限，性能可以弹性扩展

典型应用场景

?系统解耦

?削峰填谷

?数据交换

?异步通知

?定时任务

系统解耦

紧耦合系统松耦合系统

ServiceAServiceA

ServiceA

MNS队列

ServiceBServiceB

ServiceB

1.紧耦合系统当服务B出现问题或升级都会影响服务A2.松耦合系统中服务B的failure不会影响服务A

削峰填谷

用户请求压力=系统压力

服务

时间

队列长度

MNS队列系统压力

MNS队列

系统压力

服务时间

服务

通过队列对用户任务请求压力实现削峰填谷，进而降低系统峰值压力

数据交换

企业A内网阿里云消息服务企业B内网

企业A内网

数据库防火墙防火墙数据库

数据库防火墙

-

hangzhou.aliyuncs.cn/queues/DataForB

1.无需打通企业A和B的内网，也无需暴露企业A内网服务，就可以实现企业A向企业B数据同步和交换。

2.消息服务已经支持RAM访问控制，可以灵活设置公网队列的访问策略

异步通知

轮询方式

用户

提交任务轮询任务

提交任务

Web前端

提交任务轮询任务

提交任务

后端服务

/Mail/SMSHttp/Https提交任务Topic任务入队获取任务Queue任务完成MNS通知功能，可以在后端服务处理完成任务时，回调通知用户。进而减少用户，Web

/Mail/SMS

Http/Https

提交任务

Topic

任务入队

获取任务

Queue

任务完成

MNS通知功能，可以在后端服务处理完成任务时，回调通知用户。进而减少用户，Web前端和后端服务之间大量不必

要的轮询请求。

定时任务

消息服务Queue

30分钟后任务

消息可见

预订1个商品生成付款检查任务，