062_FDE评测集构建：拿客户真实业务样本，建立项目专属评测数据集.docxVIP

?#从工单到评测集：FDE驱动的业务评测体系构建实战

摘要：在AI大模型落地过程中，“Demo很惊艳，上线即翻车”是常态。作为连接技术与业务的FDE(FieldDevelopmentEngineer，现场交付/实施工程师)，核心职责不仅是部署模型，更是构建一套可持续迭代的业务评测体系。本文分享如何利用客户工单与历史业务文档，从零构建高质量评测集（EvalSet），并通过自动化评测驱动Agent/RAG系统的持续优化。

1.背景：为什么评测集是AI落地的生命线？

在大模型应用（特别是RAG和Agent场景）中，模型没有固定的“正确答案”，效果高度依赖于业务上下文。*痛点：缺乏标准评测集，优化只能靠“感觉”（调Prompt玄学）或“个案”（修了A坏了B）。*FDE的价值：FDE深入业务现场，拥有最直接的数据源（工单、文档）和业务视角。将“脏数据”转化为“黄金评测集”，是实现AI效果量化、可回滚、可迭代的关键。

目标：构建一个包含HappyPath（正常路径）、EdgeCase（边界情况）、Adversarial（对抗样本）的三维评测体系。

2.第一阶段：数据抽取与清洗(DataMining)

原始数据通常是混乱的、非结构化的。FDE需要编写脚本或利用LLM辅助，从工单系统和知识库中抽取样本。

2.1客