大陪审团：一种用于动态质量评估标准的协作机器学习模型评估协议.pdfVIP

大陪审团：一种用于动态质量评估标准的协作机器

学习模型评估协议

ArthurCho

hello@

MemoirjiLLC

本2025年8月7日

译

中摘要

1

v生成式机器学习模型已成为现代系统的核心，为创意写作、摘要生成、多跳推理和

6上下文感知对话提供了动力[2]。这些模型支撑着大规模AI助手、工作流自动化以及

2

9自主决策[15,20]。在这样的领域中，“可接受的响应”很少是绝对或静态的，而是多

2

0种多样且高度依赖于上下文[3]。然而，标准评估体系仍然依赖于静态的基准测试，在

.

8优化排行榜分数方面提供激励，而不是与动态用户需求或不断变化的实际状况保持一

0

5致[6]。大陪审团引入了一种正式的评估协议——结合时间衰减聚合、完整的可追溯

2

:性，并支持动态且透明的任务评分标准归因及多人评价的人类判断。这些元素共同使

v

i多元化的、负责的评估成为可能，捕捉不断演变的共识并揭示分歧。我们提供了(i)一

x

r个开源实现（大陪审团PyPI）和(ii)一个公共大型语言模型（LLM）推理输出集合，

a

以说明需求及方法。GrandJury为AI从业者在评估机器学习输出时提供了一个新的范

式没有绝对的地面真相。专利申请中：美国临时专利63/825,484，申请日期2025年

6月17日。

1介绍

生成式AI系统的快速普及改变了信息在各个领域中的生产、中介和消费方式——范

围从创意写作和会话辅助到自动摘要、分析和复杂推理任务～[2,19]。这些模型现在成为数

字助手、企业工作流、教育和研究中代理过程的基础～[23]。在这种情况下，输出不仅仅是

“正确”或“错误”，而是反映了有效观点、目标和解释的光谱～[1,21]。

然而，模型评估的标准方法仍然依赖于静态的基准数据和标准化的评估标准。诸如

BLEU[16]、ROUGE[12]和MMLU[9]等评估指标是为具有单一正确答案和明确度量的

1

任务设计的。长期以来，BLEU和ROUGE一直用于翻译和摘要生成任务中，倾向于奖励

抽取式的输出和n元语法重叠，无法衡量抽象性、细微差别或上下文的恰当性[18]。将它

们应用于生成式、开放型或涉及价值观的输出时，会导致所测量的内容与实际重要事项之

间产生严重的不匹配。

针对这些方法论的优化通常集中在自动化指标计算过程上。其中值得一提的是RA-

GAS（检索增强生成评估）[5]，这是一种无需参考的指标套件，旨在从检索相关性、答案

忠实度和上下文精度等多个维度来评估检索增强生成(RAG)系统，且不需要人类标注的真

实结果。类似地，LLM-as-judge方法[26,24]——包括像Prometheus[11]、JudgeLM[27]

和基于GPT的评估管道等框架——通过使用模型来评估其他模型从而实现了评分的自动

化。基于嵌入的技术，如余弦相似度[25]也常用于自动可信性检查。

然而，这些代理方法仍然不足：RAGAS指标缺乏对开放式任务的实证验证，并且经常

与人类偏好不相关[7]，作为裁判系统的LLM表现出可变偏差并对提示敏感[17,22]，基

于嵌入的评分忽略了叙事、语用或风格上的忠实度[14]。因此，尽管这些尝试旨在绕过手

动标注的需求，但它们仍然难以与微妙的人类判断相一致。更糟的是，随着供应商和研究

人员设计自己的基准测试，“最新技术”的定义变得越来越可塑且自我参照[13,8]。

2不确定性情况下的评