极光推送-高并发大容量消息推送后台系统架构演进.pptxVIP

高并发大容量消息推送后台系统架构演进极光JIGUANG 极光推送是什么？十万级在线到百万级在线千万级用户在线亿级用户在线总结极光推送是什么？极光推送是一个产品 极光推送官网 ( / ) 帮助开发者向用户传递消息标签，别名，注册ID，分组推送，自动定时推送 支持 Android, iOS, WinPhone 三大主流平台极光推送是什么？极光推送是一个平台 独立的第三方云推送平台 服务 78.4 万 app，高效稳定的毫秒级送达移动消息推送解决方案 总用户数超过 130 亿，覆盖 9.25 亿 Android 和 iOS 终端 日推送消息超过 200 亿条 高级用户提供 VIP 服务海量服务经验是长期积累的结果9.25亿月活用户3000+ 服务器覆盖超过 130 亿移动终端1.6亿同时在线用户每日推送超过 200亿条消息7×24 服务78.4万app 每日千亿级服务请求消息毫秒级送达百亿级用户维度数据注册用户超过130亿技术团队经历了用户数从0到百亿的整个过程，吸取了很多经验教训推送后台 1.0MysqlSMysqlMmysql 增加主从，读写分离无 cache 层，数据直接读写 mysql长连接服务器保存所有在线数据业务服务器长连接服务器SDK极光推送是什么？十万级在线到百万级在线千万级用户在线亿级用户在线总结1.0 架构难以支撑百万级在线推送在线用户达到百万级时，IO 瓶颈大量出现数据读写占用 mysql 主从大量的 IO基础类开发占用大量时间CPU/网卡包量和流量/交换机流量等瓶颈推送后台 2.0MysqlMMysqlS接入与业务服务器集群化接入层与逻辑层分离增加独立在线状态节点引入 ICE 框架，tcp ---? RPCmysql 分库分表多实例LocalCacheMysqlMMysqlS在线状态节点业务服务器业务服务器长连接服务器长连接服务器SDKSDKICEInternet Communications Engine 中间件有效利用带宽、内存, CPU, LBS, Failover, TCP, UDP, SSL, WebSocketAMI, AMD, 多线程IDL （类似 protobuf）ICEIceGridIceStormGlacier2极光推送是什么？十万级在线到百万级在线千万级用户在线亿级用户在线总结2.0 架构难以支撑千万级在线推送在线状态中心遇到单点性能瓶颈，一个节点难以存储所有在线状态数据内网数据流量暴增物理机上线周期长业务逻辑实现 all in 接入不均衡，不支持动态调度策略推送后台 3.0在线状态节点重构为多节点+分片+多副本架构，采用 ICE 封装服务接口引入 RabbitMQ，请求数据消息化，模块间采用 MQ 交换数据引入 Couchbase，Redis，业务与数据分离引入 ES，解决用户多维度信息查询和存储业务进程模块化，垂直/水平拆分业务模块，最小化原则增加全局长连接调度中心物理机 --- KVM业务监控 为何选择 RabbitMQ请求异步化、模块间解耦AMQP HA, produce/Confirm, Consume/Ack， Flow Control消息持久化， limited by disk + memoryKafka 消费延迟为何选择 Couchbase多语言支持，兼容 memcached 协议auto-scaling, HA, Failover, auto-shardingJson，Memory-firstSync/async, sub-document长连接调度中心调度中心根据运营商，区域，应用，负载，权值，动态调度 SDK 接入支持接入模块动态上下线提升 SDK 接入质量管理中心北京Conn AConn BSDKConn C健康检测服务深圳Conn AConn BConn C系统层面优化RSSBBRcpu affinityNUMA极光推送是什么？十万级在线到百万级在线千万级用户在线亿级用户在线总结3.0 架构难以支撑亿级在线推送单数据中心，不支持容灾推送业务量越来越大，尤其节假日高峰期业务量十倍于平时用户推送需求越来越复杂，需要存储海量复杂维度的用户数据服务质量要求越来越高，系统可用性要求 99.9% 以上开源组件自身处理能力瓶颈开始显现服务器数量暴增，管理成本几何增长，单节点的效率亟待提升推送后台 4.0多数据中心支持，用户数据同步最终一致性定制化用户维度数据存储（标签/别名，活跃）SDK 和外围模块增加限流机制，fail-fast核心数据存储服务化并行化，协程自研定制化开源组件灰度上线多数据中心所有数据通过 MQ 同步，最终一致性调度 App 到任意 IDC 提供服务北京Conn AIDC1Conn BConn CMQIDC3MQ深圳Conn AIDC2Conn BCon