百度智能持续交付的设计架构.pptx

百度智能持续交付的设计架构目录1在百度做变更面临的挑战百度智能持续交付的思路百度智能持续交付的实践 总结在百度做变更面临的挑战在保障服务质量的前提下，减少成本，提高变更效率减少异常变更对服务稳定的影响质量成本效率种类繁多，规模庞大，架构复杂业务迭代速度快服务稳定性要求高满足业务快速迭代要求控制运维人力投入传统交付方案与困境配置变更 内容全部部署 完成服务器滚动 部署交付完成中止并恢复服务配置执行 策略检查是否 符合预期自动化变更平台交付流程等待上线 周期太长线上报警 紧急回滚配置错误 变更异常将智能运维引入持 续交付流程，增强 交付自动化，保证 质量同时提升效率程序功能不 符预期流程复杂频 繁中断目录在百度做变更面临的挑战2百度智能持续交付的思路百度智能持续交付的实践总结百度运维发展史脚本工具基础运维平台开放运维平台智能运维平台WEB 运维平台人工执行命令 脚本运维操作提供 API 接口 可配置可定制智能工程框架 智能算法策略200720122014敏捷半自动运维无人全自动运维运维理念我们对AIOps的理解Gartner 的理解我们的理解Artificial Intelligence IT Operations数据 + 策略 + 工程应用场景–––Algorithmic IT OperationsBig Data + Machine Learning驱动三大场景AutomationMonitoringService Desk故障管理变更管理容量管理服务咨询Intelligent AgentSource：Gartner ReportIT Operations Analytics Must Be Placed Within an AIOps Context. Will Cappelli (Research VP) | 26 August 2016智能运维工程思想运维操作抽象层(OPAL)运维机器人(Guardian)运维知识库(OKB)车同轨：统一运维“方法”行同伦：统一运维“模式”SOP/Runbook as Code书同文：统一运维“语言”应用、服务、机房、集群、镜像、机器...统一接口......适配不同平台的“驱动”PAAS 1PAAS2Noah分场景定义运维模式；思路一致Code，Not Doc；行为一致个性化模型、配置、参数、数据提倡“复用”PAAS 3...PAAS4百度AIOps整体架构智 能 解 决 方 案故障管理场景变更管理场景服务咨询场景容量管理场景自动压测程序上线故障发现感知FAQ配置分发自动扩缩容故障诊断决策Chatbot命令执行容量规划故障自愈运维知识库运维开发框架运维策略库智 能 运 维 平 台查询计算Schema管理执行框架状态管理异常检测止损决策ETL关联分析计算框架工具链根因诊断容量预测基础设施和生产环境智能持续交付系统思路核心思路：系统代替人的决策，根据人制定的目标，自主执行变更，执 行过程中根据服务状态反馈，动态进行调整，实现无人值守交付配置变更 内容全部部署 完成服务器滚动部 署交付完成中止并恢复 服务配置执行策略检查是否符合预期自动化变更平台交付流程智能化配置变更 内容全部部署 完成服务器滚动部 署交付完成中止并恢复 服务配置执行策 略检查是否符 合预期智能变更平台交付流程目录在百度做变更面临的挑战百度智能持续交付的思路3百度智能持续交付的实践总结智能持续交付系统实践系统架构：使用框架构建变更机器人，整合变更数据，开发变更策略， 联动多场景基础设施能力执行干预展现层进度展示执行历史查询状态改变状态控制层变更机器人运维数据变更消息运维知识库模板生成变更检查执行结果运行框架数据训练服务实 时指标基础设施运维策略任务下发运维策略库集群控制系统监控采集系统任务干预数据采集远程执行目标集群智能生成模板粒度：单台机器，明确的顺序、并发度、容错策略什么是模板明确变更执行的原则说明变更执行的步骤对模板的要求保证交付的安全高效尽量全面的描述细节失败重试策略机房间顺序机房并发度机器内顺序机器并发度失败容忍度执行超时……原则：分级发布Stage-11% IDC-1Stage-2 99% IDC-1Stage-31%rest IDCsStage-499%rest IDCsStage-0沙盒环境智能检查智能检查智能检查智能检查智能生成模板如何自动生成模板原始数据运维知识库中全面的服务信息生成策略服务信息规则映射为模板统 一 数 据 模 型AppHost元数据ProductServiceIDCPersonInstance...状态数据事件数据throughputcpu mem bandwidthlatencyiortt...error diskanomaly changeroot cause re