唯品会运维架构和流程改造之路.PDF

唯品会运维 架构和流程改造之路 ⾃我介绍 • 黎毅敏 • ⼗多年⼀线运维经验 • ⻓期关注⾼可⽤性、⾼可靠性、可扩展性架构和⽅案 • 2013年4 ⽉加⼊唯品会，负责⺴站系统运维 • 微博：@Yimin_Li 分享主题 • 基础架构优化案例 • 运维流程优化案例 • 运维⾃动化现状 • 关于DEV和OPS • 图⽚系统优化案例 • ⼤数据对运维的帮助 基础架构优化案例 背景 • 公司业务发展快 • 技术团队年轻 • ⺴络基础架构薄弱 优化前⾯临的挑战 • 交换机之间的流量经常跑满 • ⽆法接⼊更多的服务器和机柜 • 内⺴经常丢包 • 交换机之间⺴线经常降速 • 运维⼈员经常踩坑 • ⾮常多的单点故障点 • 对流量要求⾼的新业务⽆法上线 原有IDC⺴络架构缺点 • 千兆⾻干 • ⽆冗余 10.100.10.* • ⽆扩展性 • 内外⺴结构，两套⺴络，成本⾼ 服务器 • 对运维不友好 • 安全性差 10.100.11.* 重新设计 • 3个⽉ • 2位⺴络⼯程师 新的IDC⺴络结构特点 • ⾼性能（10G⾻干，核⼼交换机Tb级转发能⼒) • 冗余性 • 可扩展性 • ⽆⽣成树 • 模块化 • 合理收敛⽐ • 内外⺴融合，运维友好 服务器 • 安全性加强 Bonding 10.100.*.* 迁移项⺫ • 全部4个数据中⼼ • ⼤数据平台 • 数据中⼼迁移 • 持续半年 • ⼈⼒投⼊巨⼤ 新架构效果 • 消除了⺴络单点故障点 • 应⽤性能提⾼ • 服务器带宽及可靠性提⾼ • 可快速扩展 • ⺴络整体容量提⾼10倍+ 好的架构还可以避免 运维流程优化案例 流程优化 • 基于ITIL • 监控中⼼负责 • 体系化 • 变更管理 • 事件管理 • 问题管理 ⺫标是团队像 ⽽不是 变更管理 • 减少变更对⽣产系统的影响 • 减少故障定位和发现的时间 • 有助于跨团队和⼤团队的沟通 • 确保对⽣产环境的变更都经过审查和审批 • 避免过度审批 • 蝴蝶效应 变更流程 变更系统 事件管理 • 监控中⼼负责 • 多个监控系统（Zabbix ，Telescope） • 统⼀告警平台 • 标准化故障处理流程 • 电话会议 问题管理 • 监控中⼼驱动 • 重⼤故障 • 反复发⽣的故障 • 定位原因 • 解决⽅案 运维⾃动化现状 运维⾃动化进展情况 • 还处于初级阶段 • 服务器安装Cobbler • 配置管理采⽤Puppet框架 • 在QA、⼤数据、DBA、移动运维团队已经⽤Puppet实 现服务器快速部署和系统配置标准化 • 对还没有接⼊配置管理系统的服务器从流程上要求把 配置和运维操作进⾏了规范化和标准化 关于DEV和OPS 很多⼈认为开发和运维的关系 但我们认为 所以 • 对外互相补位 • 对内各⾃发挥所⻓（运维提需求，开发设计和实现) 图⽚系统优化案例