智能体端到端效果评测 SOP（黄金测试集维护）.docx

智能体端到端效果评测SOP（黄金测试集维护）

1总则

1.1编制目的

随着企业AI智能体（Agent）从单轮对话模型演进为具备自主规划、工具调用、知识检索、流程编排、跨系统协同的端到端业务执行主体，智能体的效果稳定性、任务达成率、业务适配性、输出一致性已成为决定AI业务落地成败的核心指标。传统模型评测多聚焦单轮问答准确率、文本相似度、通用语义效果，无法覆盖智能体多步骤链式执行、长链路任务闭环、工具协同逻辑、复杂场景决策等特有能力，存在评测维度片面、场景覆盖不足、版本对比无依据、上线无标准化门槛、效果退化无感知等治理短板。

黄金测试集作为智能体端到端评测的基准资产，是实现版本迭代可控、效