迈向透明的人工智能评分：语义熵作为人机分歧的信号.pdfVIP

迈向透明的人工智能评分：语义熵作为人机分歧的信号

KarrtikIyer,ManikandanRavikiran,PrasannaPendseandShayanMohanty

ThoughtworksAIResearchLabs

Abstract

自动评分系统可以高效地为简短答案打分，但它们经常无法表明评分决策是否不确定或可能有争议。我们引入了语义熵，一

种衡量多个GPT-4生成的同一学生回答解释之间变异性的方法，作为人类评卷者意见分歧的代理。通过基于蕴含相似性对理

由进行聚类并计算这些聚类上的熵，我们在不依赖最终输出分数的情况下量化了证明的多样性。我们探讨了三个研究问题：(1)

语义熵是否与人类评分者的意见分歧一致？(2)它是否适用于不同的学术科目？(3)它是否对任务特征（如来源依赖性）敏感？

在ASAP-SAS数据集上的实验表明，语义熵与评分者的分歧相关，在不同科目之间有意义地变化，并且在需要解释推理的任务

中增加。我们的研究结果将语义熵定位为一个可解释的不确定性信号，支持更透明和值得信赖的人工智能辅助评分工作流程。

Keywords

简短答案评分,语义熵,人工智能辅助评估,人与AI的分歧

1.介绍但这些方法并没有捕捉到在教育环境中出现的

具体推理不一致之处。相比之下，语义熵直接

自动短答案评分系统已经与人工分数达成了量化解释语义的多样性，提供了更可解释且认

本强烈的一致，为教育评估提供了可扩展性和效知对齐的评分可靠性信号。

译率[1,2].然而，一个关键的限制仍然存在：我们研究了以下问题：

中这些系统通常只产生最终的数字分数，而不会

1表明评分决策可能不确定或有争议。在现实世•研究问题1：语义熵能否可靠地作为人类

v界中，人类评分者经常由于对评分标准的主观评分者在短答案评分中不一致性的代理？

5

0解释或学生答案模糊不清而在边缘回答上意见•研究问题2：这个代理是否能够概括应用

1

4不一[3].于诸如科学、英语语言艺术、生物和英语

0.现有的自动化评分模型，包括基于大型语等教育科目？

8言模型（LLMs）的那些，都优化了分数准确性，但•研究问题3：外部来源材料（例如阅读段

0

5缺乏标记可能需要人工审查的响应的机制[4]。落）的存在是否系统性地影响了模型生成

2

:因此，它们在最需要教育者监督的情况下存在解释的语义熵？

v

i未受质疑地发布分数的风险。解决这一局限性

x为回答这些问题，我们使用了具有多种模

r对于构建透明、值得信赖的人工智能辅助评估

a态输入的ASAP-SAS数据集[8]，并提示GPT-

系统至关重要。

4[9]为每个学生响应生成多个简洁的解释理

我们通过引入语义熵作为同一响应的多个

由。我们通过双向蕴含对这些理由进行聚类来

AI生成解释理由之间变异性的一种度量，用