绿岸自动化运维发展及展望-linuxtoneorg.ppt

* * 绿岸网络自动化运维分享 About Me 叶俊强，绿岸网络科技有限公司运维总监 负责绿岸网络运维团队管理 爱好：开源技术、游戏、骑自行车 希望和大家多多交流工作中碰到的问题和经验 微博：/1874597200 绿岸在发展过程中碰到过的问题： 随着服务器数量增加，管理人员随之增加 登陆服务器的人越来越多，安全成本随之增加 服务器管理流程难以下达，不同的人操作结果总是存在不同程度差异 操作人员审计工作量太大，每天需要审计的命令太多 密码管理工作量大定期更换密码工作难以实施 配置管理存在比较多的问题 人员成本增大，有经验的运维难招 ………… 绿岸方舟系统设计原则 业务低偶合 系统高扩展 系统高安全 业务弹性大 人员要求低门槛 业务高可控性 早期系统构架 CIL(用户服务程序接口层 Service.config ) COL 用户操作接口层(Web形式表现|权限控制) 数据业务 Data.config 版本业务 GameVer.config 游戏业务 Game.config 服务器业务 Srv.config 日志 容器 Builderlog. config RSRL(远程服务运行层) RSRL(远程服务运行层) RSRL(远程服务运行层) 以上系统的问题： 配置复杂、管理配置文件花费精力较多 业务存在冗余，同业务可能需要去更改几个配置文件 前台权限控制和业务管理不能业务化，部分业务管理功能仍然需要技术参与 业务弹性还是仍然偏低 现在系统结构 ＊ Mbus总线 技术客服监控 日志 容器 Builderlog. config Endpoint (远程服务运行层) Endpoint (远程服务运行层) Endpoint (远程服务运行层) 运维维护员 产品操作员 平台管理员 COL 用户操作接口层(Web形式表现|权限控制|操作日志) 通讯层 WEB-API 插件-API 日志系统 插件库 用户操作接口层 设计目标：高扩展性、模块化、组件化 提供WEB前端支持所有业务操作 提供业务管理功能（不再使用配置文件） 提供权限系统 提供配置管理API（用于和其他业务系统对接） 具有任务分发、授权、定时等功能 登陆后展示公告板，发布运营信息 提供一个轻量型的知识库，业务人员可管理和发布自己的知识，便于业务人员检索 ………… Mbus总线层 Mbus是系统核心层，Mbus的设计目标是单台承载2000个管理结点，最大4000个管理结点，并支持二级管理结构，Mbus业务功能有： 负责注册远端服务器，收集服务器运行信息 负责业务分发及根据规则判断业务是否可以执行 负责分发和升级远程endpoint 提供本地和远程API调用 负责业务日志存储和管理 保障网络通迅层的安全和可靠性 输入和输出的合法性校验、检查 Endpoint结点 Endpoint是服务器上的执行端具有高安全性设计、极简结构、高效数据分段返回的特性，以下是Endpoint功能介绍： Endpoint本身并无监听，而是启动后直接Mbus或是二级节点，将自身注册至Mbus上 每个Endpoint都有唯一的Uid Endpoint提供C++调Python接口和Python调C++接口 Endpoint的代码设计和业务无任何关系，实现业务层完全剥离 Endpoint内嵌Python解释器，可兼容Windows和Linux平台 Endpoint提供脚本性能分析和错误反馈机制，用于发现和调　试脚本中的Bug Endpoint和Mbus维持心跳连接，当断开的时候将自身在服务器上反注册掉 Endpointe脚本插件 脚本插件是业务实现的核心，所有的业务都是由插件实现的，插件的实现目的： 实现业务与系统之间的拆分，发挥插件的灵活性 插件开发尊遁插件开发框架开发，降低插件开发门槛，一般的运维人员可以快速上手 插件主要以Python程序编制，配合Shell可完成复杂的业务，并已实现和Endpoint联动完成工作 插件的版本由Mbus管理，Mbus负责插件的升级维护，可以做到集中式管理所有业务插件 插件的安全性在上线时审计，Mbus和Endpoint按规则发现可能存在问题的插件组 现已经实现的业务 数据收集 集中式任务管理 日常游戏业务 配置管理及分发 监控报警 预警功能 密码管理 应用初始化 服务器初始化 ………… 方舟给绿岸带来的变化 安全性提高，登陆服务器操作大幅下降，一般情况下人员不需要登陆服务器操作业务 可控制变化，每个业务都有日志，员工操作的可控性强制，操作结果一致性强，出错率低 运维人数下降，工作人员增长由数的增长变为质的增长 业务即时性提高，部分业务直接接口到业务部门使用，比如抽取业务数据、服务日志等 技术门槛降低，一般运维操作员可是为毫无经验的应届生，培训一周既可上岗，并完成平