阿里云SelectDBApache Doris AI可观测-Litefuse Agent 可观测与效果评估平台.pptx

阿里云SelectDBApache Doris AI可观测-Litefuse Agent 可观测与效果评估平台.pptx

Litefuse

Agent可观测与效果评估平台

01

Agent生产部署遇到的可靠性挑战

不确定性的新挑战

一个真实的例子:传统监控在Agent生产环境失效

客服Agent调整systemprompt造成回复质量下降。

系统指标未见异常

业务指标明显下滑

原因

请求成功率正常

时延、成本无明显变化

未查询订单就直接回复

转人工率12%→31%

新prompt只保留了语气要求,订

单查询SOP被覆盖,Agent不再调

用查询工具。

没有触发异常告警

满意率4.6→3.9

请求链路仍然成功,因此错误率和

时延监控均未发现异常。

传统监控能发现服务故障,却无法判断Ag

文档评论(0)

1亿VIP精品文档

相关文档