指数级增长业务下的服务架构改造.pdf

指数级增长业务下的 服务架构改造 环信⾸席架构师 梁宇鹏 @⼀乐 增长速度 增长速度 每⽉⼀翻 春节假期 2 同时在线近千万 公司及个⼈ 环信，即时通讯云服务 帮助移动APP添加IM功能 专注IM领域 环信⾸席架构师，原新浪微博通讯技术专家 XMPP开源项⽬Jabbed2、Ejabbed、Openfie ⼤纲 架构演化 经验教训 ⼯具实践 服务架构 服务架构 IDC  3 Cle Cell 4 Machine 500+ Elang 120+ 架构演化 100K - 1M - 10M - moe 伸缩性 可⽤性 伸缩性，通⽤ ⽔平 - 容量 - 分区 MSQL，千库万表 Caanda，动态扩容？ Mneia，fagmen 垂直 - 性能 Redi缓存 ，业务独⽴ 伸缩性，通讯 分层设计 连接层、会话层、推送层 读写分离 写库读缓 - ⽂件服务，Token存储 写处理迁移 - 关系存储从IM到REST 可⽤性，通⽤ 需求增加 解耦，Kafka/Redi 峰值应对 队列，群发消息流控 降级 ，消息第⼀，登录次之 可⽤性，通讯 软实时 HOL blocking - 队列迁移 o 清除 降级 开关 - 关停异常接⼝，留缓存舍DB 数据恢复 - ⽤户注册⽇志 ⼤纲 架构演化 经验教训 ⼯具实践 经验教训 不完美主义 不多写代码 e.g. 会话存储拆分 头疼医头也医脚 先容忍失败，再解决问题 e.g. 节点关闭逻辑 不头疼不医头 量化分析 e.g. VM参数调整回滚 经验教训 未⾬绸缪，超容量压测 峰值总⽐预期要早到来 数据仿真，从业务数据分析 e.g. 群⽤户分布 抓⼤放⼩ e.g. 登陆流程 经验教训 多租户多业务 通⽤性外有易变性 随新⽤户进来⽽改变 意外热点 IN、TFbo 云上新挑战 性能波动导致承载容量下降 Noi Neighbo 取消数据节点磁盘快照 问题排查透明性？ 资源到服务，d也要监控 云上新挑战 特定云问题 SLB⼼跳检查 SLB性能瓶颈 容量 以及服务限制 跨云设计 只⽤公共特性 De Op Op can de 会武术有⽂化 Ngin 降级限流 De fo op 好基友⼀辈⼦ 优化减少运维负担 演练 ⼤纲 架构演化 经验教训 ⼯具实践 语⾔问题 我们⽤Elang 轻量级线程，消息传递 并发友好，消息的软实时投递 速错 Fail Fa 有错误不影响整体，健壮 不可变变量 ⽆副作⽤，不容易出错 ⼀切皆缘 我们⽤Elang ⽇志组件Lage 同步异步切换问题，增加限流high_ae_mak