SRE－Copliot：基于大语言模型的智能运维架构.pdf

SRE-Copilot

大语言模型智能运维框架

LLMAiops在字节跳动的探索与实践

QCon2024全球软件开发北京大会

字节跳动--王宁

SRE-Copilot

•AIOps挑战赛方案

•SRE-Copilot架构

QCon2024全球软件开发北京大会

•SRE-Copilot技术细节

•在字节跳动的探索实践

第一章节

QCon2024全球软件开发北京大会

比赛方案阐述

赛题及数据分析

•基于建行稳定性系统模拟建行生活类APP的真实环境

•希望解决企业运维团队面对规模庞大、结构复杂、动态变化的运维数据需要解决的一系列挑战

系统架构图数据描述

入网负载均衡集群•调用链数据

QCon2024全球软件开发北京大会

•业务黄金指标

基础集群RedisMySQL

•集群性能指标

抢券集群订单集群Kafka……

（容器、Linux系统等）

出网负载均衡集群•系统日志

SRE-Copilot优势

痛点传统AIOPSSRE-Copilot

系统复杂，海量数据单个运维专家，甚至单个团队难以掌握上下游全部知识，大模型几乎能学习人类全部知识。通过Multi-Agent以及

技术细节。也难以处理全部告警/异常知识库可以无限扩展

QCon2024全球软件开发北京大会

数据无标注，训练成本高大部分异常检测算法需要依赖标注，无监督算法能力一般。把专家经验经验转化为故障表现，让模型推断，无需训练

根因诊断算法更加依赖标注。专家经验很难编码成算法模型

通过“混合专家模型”的集成学习概念，只需关注组件与

接入，维护成本高维护门槛高，要完全理解每一个复杂模型，客户的数据和模型，客户自己的模型/逻辑也可以像乐高积木一样轻松接

系统都是私域的，需为客户现场定制与优化，增加了接入入，灵活调整。甚至框架自己可以动态编排

成本。调整或接入新数据要重新训练

无法解决未知故障LLM已经出现了涌现和推理能力，基于自己的通用知识，

并且可以不断学习领域知识进行推理，似乎是解决新故障

无法推理未知故障