GOPS2016上海站-大规模Web Server集群的高效运维.ppt

GOPS2016 全球运维大会·上海站 高效运维-包发布系统 像管理软件一样管理包 GOPS2016 全球运维大会·上海站 高效运维-配置文件管理 GOPS2016 全球运维大会·上海站 高效运维-配置文件管理 GOPS2016 全球运维大会·上海站 高效运维-一键扩容 申请设备 获取资源 发布部署 业务测试 发布自检 灰度上线 自动执行流程 1.获取参数列表 2.屏蔽负载事件通知 3.查询设备调度接口 4.根据模块ID查域名 5.获取资源配置 6.申请权限接口 7.获取设备IP地址 8.屏蔽告警 9.安装程序包 10.同步文件 11.获取CC参数 12.发配置 13.执行脚本 14.主调扩容 15.启动软件包 16.进程端口扫描 17.上报变更日志 18.查询授权结果 19.自动化测试 20.VIP添加RS 21.L5被调扩容 22.告警屏蔽解除 23.开启负载事件通知 GOPS2016 全球运维大会·上海站 高效运维-自动扩容流程 申请设备 获取资源 发布部署 业务测试 发布自检 灰度上线 与运营中设备的一致性对比 进程端口自检 质量部 ATT QTA 协议级自动化测试 连通性的工具测试 GOPS2016 全球运维大会·上海站 高效运维-流程剖析 GOPS2016 全球运维大会·上海站 高效运维-流程剖析 GOPS2016 全球运维大会·上海站 高效运维-如何做灰度 负载均衡 组件 灰度系统 成功率上报 权重调节 扩容设备 业务请求 1%-100% 100% 线上设备 灰度的方法 TGW上的权重调整 L5上的权重调整 Nginx+L5的权重关联调整 GOPS2016 全球运维大会·上海站 高效运维-快速调度能力 仓库爆炸事件 用户调度 回调4千万用户 回调所有用户 调度结束 12日晚23时 13日白天 14日凌晨 14日上午 20日白天 7500万用户迁移 GOPS2016 全球运维大会·上海站 高效运维-快速调度能力 变更GSLB 变更为异地TGW VIP 10分钟生效 变更直连IP 下发新的VIP给移动终端 秒级生效 变更L5内部服务 变更L5地址 秒级生效 GOPS2016 全球运维大会·上海站 核心能力的开放 GSLB TGW 服务质量 Nginx 包 业务模块 业务CGI L5 配置文件 权限 接入服务 计算资源 流程 CLB 云解析 维纳斯WNS CVM 云拨测 云诊断 蓝鲸 织云 GOPS2016 全球运维大会·上海站 接入运维工程师的价值和能力要求 开发能力 底层能力 业务架构 运营意识 从防守型的运维到进取型的运营 业务变更 业务与架构能力 问题诊断能力 工具开发能力 运营平台构建能力 数据分析与决策 开源组件的改造能力 GOPS2016 全球运维大会·上海站 接入运维门户 织云 CMDB 监控系统 GSLB/TGW/L5 接入运维服务门户 业务自助 团队全员 开发能力 流程引擎 调度决策 数据分析 GOPS2016 全球运维大会·上海站 故障定位的挑战 使用云诊断能快速定位用户网络、域名、服务、运营商等问题 GOPS2016 全球运维大会·上海站 未来愿景 打通最后一公里--业务扩缩容自动化 服务化能力--实现Web as a Service 用户访问日志的数据挖掘与分析 GOPS2016 全球运维大会·上海站 Thanks 高效运维社区 开放运维联盟 荣誉出品 GOPS2016 全球运维大会·上海站 GOPS2016 全球运维大会·上海站 GOPS2016 全球运维大会更多精彩 GOPS2016 全球运维大会·上海站 支撑2亿用户并发大规模Web Server集群的高效运维 周小军 腾讯社交网络运营部 GOPS2016 全球运维大会·上海站 提纲 业务场景 接入架构 运维的挑战 高效运维的实践 未来愿景 GOPS2016 全球运维大会·上海站 个人简介 周小军@腾讯社交网络运营中心 十几年IT架构和运维经验 擅长数据中心、IT架构运维、云计算 GOPS2016 全球运维大会·上海站 业务场景 QQ在线 2.59 亿 手Q在线 2.49 亿 刷一刷抢红包用户数 3.08 亿 QQ日消息发送总量 200 亿条 Qzone在线 3 千万 相册日上传图片 6 亿张 GOPS2016 全球运维大会·上海站 业务场景 挑战：海量并发、延迟、服务可持续性 服务器规模 1万台 服务可用性 = 99.99% GOPS2016 全球运维大会·上海站 三层架构 PC QQ GSLB CDB PC浏览器 APP 手机QQ CONN WNS SSO TGW/STGW CGI SPP Grocery CKV Tlist GOPS2016 全球运维大会·上海站 接入