张尧：AI Agents在On-call助手场景中的探索与实践.docx

AIAgents在On-call

助手场景中的探索与实践

张尧博士/算法研究员

DataFunSummit#2024

背景介绍

相关工作调研方案介绍

未来展望

01

背景介绍

信号?指标?日志?追踪

信号

?指标?日志?追踪?事件

方案

?BCD

?Groot

?Exemplar

?Remediation

能力

?多维分析

?告警规则

?异常检测

?追踪分析

On-call日常工作

?endpoints/API/...是什么？

?我的PromQL/LogQL/...写的不对，可以帮我修改吗？

?我的指标/日志/事件/追踪/...数据怎么不见了？

?我设置的告警怎么不触发/反复触发/触发晚了/...？

?我的quota不够，可以帮我增加吗？

?

…

02

相关工作调研

检索增强生成RAG

Gaoetal.,2024,

Gaoetal.,2024,Retrieval-AugmentedGenerationforLargeLanguageModels:ASurvey.

智能体AIAgents

Weng.2023.

Weng.2023.LLMPoweredAutonomousAgents.https://lilianweng.github.io/posts/2023-06-23-agent/

ReAct

Yaoetal.,2023,

Yaoetal.,2023,ReAct:SynergizingReasoningandActinginLanguageModels.

反思Reflection

ExpeL

Reflexion

Shinnetal.,2023,

Shinnetal.,2023,Reflexion:LanguageAgentswithVerbalReinforcementLearning.Zhaoetal.,2023,ExpeL:LLMAgentsAreExperientialLearners.

思维树ToT

Yaoetal.,2023,TreeofThough

Yaoetal.,2023,TreeofThoughts:DeliberateProblemSolvingwithLargeLanguageModels.

树搜索

树搜索LLMAgents+MCTS

…

…

LATSAgentQ

Zhouetal.,2024,

Zhouetal.,2024,LanguageAgentTreeSearchUnifiesReasoningActingandPlanninginLanguageModels.Puttaetal.,2024,AgentQ:AdvancedReasoningandLearningforAutonomousAIAgents.

性价比？

Kapooretal.,2024,

Kapooretal.,2024,AIAgentsThatMatter.

03

方案介绍

LePenseur

GeneratedbyAI

意图识别IntentRecognition

Hi，@sherlock-oncall，我的Raptor应用怎么platformmetrics没有了？

私有词汇识别+RAG

-Sherlock：eBay的监控平台…

-Raptor:eBay基于JavaSpring/Springboot的技术栈…

-platformmetrics:一种特殊类型的指标…

路由Routing

QA

QAAgent

Triage

TriageAgent

QA/

QA/Escalate

endpoints/API/...是什么？

我的PromQL/LogQL/...写的不对，可以帮我修改吗？我的指标/日志/事件/追踪/...数据怎么不见了？

我设置的告警怎么不触发/反复触发/触发晚了/...？我的quota不够，可以帮我增加吗？

可以zoom帮我看下这个问题吗？

…

Hierachical+Dynamicfew-shotexamples+Ensemble

重路由Re-routing

1.用户无法清晰描述问题

2.用户追问(QA