自动评分反馈的利用及其影响：一项跨五个社区学院的观察研究-计算机科学-自动化评分系统-入门编程-机器学习.pdf

自动评分反馈的利用及其影响：一项跨五个社区学院的观察研究

abcd

AdamZhang,HeatherBurte,JaromirSavelka,ChristopherBogart,andMajdSakr

e

SchoolofComputerScience,CarnegieMellonUniversity,Pittsburgh,Pennsylvania,U.S.A.

Keywords:

自动评分器，反馈，社区学院，入门编程，项目式学习

Abstract:

本自动化评分系统，或自动评分器，在编程教育中已经变得无处不在，它们生成反馈的方式也变得更加

译自动化。然而，关于自动评分器反馈是否有效提高学生学习成果的证据不足，特别是在区分使用了

反馈的学生和未使用的学生成果方面。在这项研究中，我们填补了这一关键空白。具体来说，我们分

中析了美国五所社区学院一门入门级Python编程课程中学生与自动评分器的互动情况。我们的结果显

1示，经常查看反馈的学生总体上在编程作业中的得分更高。此外，我们的结果还显示，在一个学生查

v看反馈后提交的作业通常比忽略反馈后提交的作业获得更高的分数。我们的研究为自动评分器反馈

5

3的有效性提供了证据，鼓励增加其使用，并呼吁未来的研究继续评估自动化时代下的这些系统。

2

4

1

7.1介绍果的工具。这类研究尤其及时，因为越来越多的

0教育工作者正在探索用大型语言模型（LLMs）生

5自动化评分系统（自动评分器），是为编程课成的反馈来替代或增强人类讲师的反馈(Prather

2

:程提供即时分数和反馈的流行解决方案。尽管自etal.,2023;Pratheretal.,2024)。

v

i动评分器提供的反馈质量可能无法始终与人类讲在这篇论文中，我们评估了与美国五所社区

x

r师一致，但由于它们的即时性和持续可用性，它学院合作在2022-23学年开设的一门Python课程

a

们仍然对教师和学生都有价值。自动评分器的可中的自动评分系统，共有199名学生参与。在这个

扩展性支持教授更大规模的班级，并且它们的效课程中，我们记录并分析了学生的导航历史、提

率提供了更及时、连续的学习和解决问题指导给交历史、估计花费时间和分数。该课程托管在一

学生。然而，关于自动评分器反馈对学生学习成1

个名为Sail()的专有学习和研究平台上。

果（如成绩和通过率）影响的经验评估仍显不足对于本课程，学生在本地文件中编写源代码，

(Keuningetal.,2018)。这引发了自动评分器反并通过运行提交程序可执行文件来提交。然后，

馈是否真正对学生有用，甚至是否被使用过的问学生们登录到课程网站上查看他们的分数和反

题。在缺乏此类研究的情况下，教师有可能会投馈，这些通常几秒钟内就可以获得。自动评分器

入大量资源开发可能并不一定能带来更好学习效