SCALEFeedback：一个用于 LLM 生成教育反馈研究的大型合成计算机科学作业数据集.pdfVIP

SCALEFeedback：一个用于LLM生成教育反馈研究的大型合成计算机科学作业

数据集

KeyangQian,KaixunYang,WeiDai,FloraJin,YixinCheng,RuiGuan,SadiaNawaz,Zachari

Swiecki,GuanliangChen,LixiangYan,DraganGašević

CentreforLearningAnalytics,FacultyofInformaitonTechnology,MonashUniversity

Melbourne,VIC,Australia

{keyang.qian,kaixun.yang1,wei.dai1,flora.jin,yixin.cheng,rui.guan,sadia.nawaz,zach.swiecki,guanliang.chen,

lixiang.yan,dragan.gesevic}@

Abstract介绍

反馈在学生成功中起着至关重要的作用(Middle-

本使用大型语言模型（LLMs）为学生的作业提供教育反tonetal.2023)，但提供及时、高质量的反馈可能很困

馈在教育领域的人工智能（AIED）中引起了广泛关注。难，特别是在大型计算机课程中，需求日益超过资源

译然而，目前尚无包含详细作业描述、评分标准和学生提(Nguyenetal.2014;ofSciencesetal.2018)。将大型语

中交的各种课程的大规模开源数据集。因此，关于可泛言模型（LLMs）整合到教育环境中，特别是用于为学

化的自动生成有效且负责任的教育反馈的方法的研究

1仍然有限。在当前研究中，我们构建了一个大规模的数生的作业提供自动化反馈，已成为一个重要的关注领

v域(Kimetal.2025;Rudolph,Tan,andTan2023;Dai

3据集SyntheticComputerscienceAssignmentsforLLM-etal.2024a)，尤其是在计算机科学教育中(Dennyetal.

5generatedEducational反馈研究(尺度反馈)。我们提出

9了一种复杂作业模仿（样本）框架，通过一对一的基于2024;Balseetal.2023;Hellasetal.2023;Liffitonetal.

5大语言模型的模仿从真实的作业描述、评分标准和学生2023;Leinonenetal.2023)。

0

.提交的内容生成合成数据集，以产生其合成版本。我们尽管有所承诺，之前的基于大语言模型的反馈研

8

0的开源数据集包含10,000份合成的学生提交内容，涵盖究主要集中在特定类型的编程任务(Pankiewiczand

5了59门大学水平计算机科学课程中的155项作业。我Baker2023)或单一大学课程(Liffitonetal.2023)的实

2们评估了该数据集与真实数据在作业分数、语义相似性、验上，这限制了其方法的广泛采用。关于可泛化的基

:

v长度和隐私保护方面的相似度。使用该数据集，我们采于大语言模型的自动反馈系统的研究——这些系统在

i

x用了10种常见大语言模型为真实的和合成的作业提交不同类型的计算机科学作业中进行有效性及责任测试

r内容生成反馈，并比较它们反馈的有效性。我们的研究

a