智能体构建与进化——Agent开源开发者沙龙·上海站材料分享-LoongSuite Pilot 让每一个 Al Coding Agent可观测、可评估、可审计.pptxVIP

LoongSuitePilot

让每一个AICodingAgent

可观测、可评估、可审计

石木（陈扬）丨阿里云可观测团队

01

可观测t

可观测性的盲区

AICodingAgent时代，我们答不出的问题

当AICodingAgent成为日常工具

这些基本问题，我们无从回答：

?

团队每天消耗了多少Token?

哪些任务适合Agent，哪种任务适合哪个Agent?

Agent输出不符预期时，中间经历了什么?

?Agent修改了30个文件，完整链路是什么?

企业月投入数万到数十万，却无法量化“这笔钱值不值”→经营问题

为什么这件事难做

困难来自三个层面

AI编程Agent的可观测性：三层困难

Agent行为天然难观测

多Agent数据天然割裂

端侧是可观测的盲区

一次任务10+轮ReAct循环

每轮涉及模型调用、工具执行、

结果反思与决策

传统MLT无法还原决策流程

每个Agent的数据:

格式不同（JSON/SQLite/文本）

存储位置、粒度、语义各异

无法规模化横向对比

主机/容器→LoongCollector✓

服务端框架→语言探针√

开发者桌面→无覆盖X

核心问题：如何在不改造Agent的前提下，从端侧获取完整、统一、可靠的行为数据?

03

1分钟距

1分钟跑通全流程

从安