电信亿级互联网产品的运维实践.pdfVIP

电信亿级互联网产品的运维实践 仇国祥 中国电信综合平台开发运营中心 运维经理 电信亿级互联网产品的运维实践 – 2009年加入21CN运维中心 ，系统工程师 – 2013年加入中国电信综合平台开发运营中心 ，运维架构师、运维经理 2013-至今 部门经理兼架构师 2011-2012 高级系统工程师 2007-2010 系统工程师 电信亿级互联网产品的运维实践 质量 效率 成本 安全 • 各公司阶段不同 ，技术能力不同 ，手段不同 ，但是运维 目标是一致的 • 质量 ，产品的灵魂 ，运维工程师首要任务 ，保证服务稳定和较好性能 • 聪明的运维懂得提高效率 ，释放 自己 ，要有 目标 ，但也不用盲 目攀比 ，用 脚本、还是界面化平台 ，阶段不同顺手即可 • 控制成本 • 安全不松懈 ，出现重大安全问题 ，功不抵过 （安全规范、扫描、渗透、 WAF ） 电信亿级互联网产品的运维实践 减少配置差异 • 基线安全规范 • 系统规范 • 部署规范 • 日记规范 • 路径规范 • 持续交付规范 电信亿级互联网产品的运维实践 持续交付的标准化-运维 • 中间件配置标准化 名字服务管理 （DNS/ HTTP ） 系统配置批量变更 （内核/ limits/磁盘配额等 ） 常规Nginx配置web化编辑 （更新和下发 ） Java容器配置标准化 （工程配置/性能相关参数/数据源 ） 资源量化分配 （Mesos/ Marathon ） • 流程标准化 制订持续集成交付流程 （svn-开发-测试-灰度-生产 ） 配置变更流程 （变更-审核 （仅灰度/生产环境 ）-下发 ） Marathon/监控事件处理流程 电信亿级互联网产品的运维实践 持续交付的标准化-研发 • 代码工程的标准化 工程名唯一 （容易识别 ） 代码 目录 （固定 ，分类 ） 日志输出 （本地转网络 ，涉及logstash/ceph/flume-ng ） • 应用的标准化 XML配置 （避免混乱 ） 应用解耦 ，无状态化 （减少跨工程访问底层数据存储 ） 第三方依赖 （分布式协调/缓存/数据库 ） docker构建 （j enkins+maven ，一次构建 ，多处运行 ） 电信亿级互联网产品的运维实践 运维专业化 • 优化监控系统 （nagios zabbix cacti 业务拨测 ）， 监控收敛、日记收集、大 数据、性能分析 • 避免人为故障 • 容量评估 ，限流 • 运维参与架构 ， 动静态 分离 、业务耦合合理分 离 、内外部接口分离 集 群化、无状态化 • 流程规范 电信亿级互联网产品的运维实践 数据-业务和运维数据分析 ，主要通过flume采集 日志 – 业务数据基于Mysql、MyCat分库实现分布式存储 – 对于有事务要求的交易数据基于Atalas实现读写分离 – 运维系统 日记收集分析 ，掌握平台性能状态