QQ会员活动运营平台架构实践.pptxVIP

ArchSummit全球架构师峰会 深圳站2016 QQ会员活动运营平台架构实践 内容目录 QQ增值业务海量请求下的技术挑战 Web系统高并发的综合优化策略 平台高可用建设实践 什么是活动？ • 上线周期短 • 功能需求多样 • 节假日聚集推广 海量用户访问的挑战 3-8亿 Web系统日 请求 800+ 同时在线活 动数 100+ 涉及的存储 和服务 7w/s 高峰期每秒 CGI请求 • • • • QQ会员活动平台，简称AMS，承载QQ增值活动的Web系统 满足QQ增值活动业务的发展 保证平台在海量用户面前的高可用 涵盖业务：QQ、腾讯游戏、个性化、动漫阅读等 内容目录 QQ增值业务海量请求下的技术挑战 Web系统高并发的综合优化策略 平台高可用建设实践 Web系统高并发的优化思路 • 提升Web系统的吞吐率 – 降低CGI请求延时 – 提升Web服务单机性能 – 支持快速平行扩容 吞吐率 延时 规模 性能 降低CGI延时的方法 多级缓存和主动推送 超时时间分类设置 非核心操作异步化 多级缓存和主动推送 主动推送 业务层 内存Cache层 数据存储层 平台模块数据项 数据 备注 发货和操作组件数（op） 400+ 条件规则组件数（rule） 300+ 回调操作组件数（hook） 60+ 接入的IDIP游戏款数 160+ 手游和PC游戏 AMS涉及的存储 20+ 接入的SRF服务数目 80+ 超时时间问题 用户是超时 会员身份 游戏角色等 级大于30级 当天登陆过 游戏 领取礼包 超时时间分类设置 • 高频率出现接口耗时过长，Web服务吞吐率大幅度下降 • 因材施教，快慢分离：不同接口设置不同的超时时间（数百个服务接 口） CGI延迟优化的成果 • 不含业务组件服务请求耗时，平台基础服务总耗时仅为34.95ms 性能：提升Web Server的并发能力 • AMS平台的Web Server，早期使用Apache2.0 +PHP5.2（prefork） • 基础服务升级需要兼顾业务场景和投入产出比 PHP+HHVM • 高性能 • 运维成本、向下 兼容 Nginx+PHP- FPM • 平滑 • 瓶颈在PHP-FPM NodeJS • 支持异步 • 迁移成本比较高 Web Server基础服务升级 • 选择的方案：Apache2.4.18（Event）+PHP7 • Apache的Event模式（ 2.4.10，2014年7月21日） • PHP7（2015年12月底） 需要面对的问题： • Apache2.0-Apache2.4 • PHP5.2-PHP7 • 线程安全 • 数量不少的基础扩展重新编译和升级 • 语法兼容性问题 • 新软件面临的风险 WebServer版本 单机QPS（业务查询） 备注 Apache2.0+PHP5.2(prefork) 1013 Apache2.4+PHP5.6(event) 1529 Apache2.4+PHP7(event) 3021 2016.4 性能优化的成果 单台灰度 非核心功能集群 其他功能集群 规模：快速扩容与缩容 • 自动化：扩容、部署、启动等 • Web Server扩容的权限审批、扩容功能验证，人工环节比较多，耗 时1天多 机器申请 服务环境部署 NAT环境开通 配置自动下发 内部权限审批 外部权限审批 存储授权 测试验证 接入上线 解决权限问题：中转proxy策略 • 权限收归到Proxy Server，内部加密和来源限制 Web Server快速扩容方案 • 目前，机器扩容1-2个小时，走完全流程，大幅减少人工依赖 扩容依赖 存储授权 内部核心服务 外部核心服务 扩容功能验证 解决方案 自动授权 内部授权 内部授权 自动化功能验证 虚拟机共享CPU • Linux Container • 降低持有机器的成本，尽量避免低负载 • 优先占据1/8CPU资源，不足时可利用其它应用的空闲CPU资源 内容目录 QQ增值业务海量请求下的技术挑战 Web系统高并发的综合优化策略 平台高可用建设实践 跨数量级的流量增长 • AMS系统的每日CGI请求快速增长，可用性频繁受到挑战 • 平台架构和容灾能力建设，增强可用性 日请求百万级 AMS1.0 PC活动运营 快速满足业务需求 2012年 日请求3-8亿 AMS3.0+ 高并发、高可用、架构拆分、 容灾建设、 2015年 日请求过亿级 AMS3.0 性能优化