评估大型语言模型在解决简单编程任务中的有效性-一项以用户为中心的研究-计算机科学-大语言模型-AI辅助编程.pdfVIP

评估大型语言模型在解决简单编程任务中的

有效性：一项以用户为中心的研究

KaiDeng

PineViewSchool

Osprey,FL,USA

yingkai.deng8@

摘要—随着大型语言模型（LLMs）在教育工具和编程环境差异。理所当然地认为，当教师是AI时[9]，这一情况

中的普及，关于这些系统应如何与用户互动的问题也随之浮现。也同样适用。这项研究受到一个简单问题的启发：如果

本研究调查了使用ChatGPT-4o的不同交互方式（被动、主动我正在学习编码，哪种类型的AI交互实际上可以帮助

和协作）对简单编程任务的用户表现的影响。我进行了一项被试

本我提高？如果让AI等待我请求帮助、自动提供建议还

内实验，十五名高中生参与其中，在三种不同版本的模型下完成

译了三个问题。每个版本都设计为表示特定风格的人工智能支持：是像解决问题伙伴一样与我互动，哪一种更好？这些不

中仅在询问时回应、自动提供建议或与用户互动对话。定量分析表仅仅是设计问题——它们也是教育问题。随着LLMs在

1明，协作交互方式显著缩短了任务完成时间，优于被动和主动条课堂和自我学习环境中越来越普遍，了解它们提供的支

v件。参与者还报告称，在使用协作版本工作时满意度更高，并感持方式至关重要。为了探索这一点，我设计了一个被试

3

4觉更有帮助。这些发现表明，LLM的沟通方式、指导、提示和内实验，在该实验中15名高中生使用ChatGPT-4o的

0响应如何能够有意义地影响学习和表现。这项研究强调了设计超

4三个不同版本解决了三个编程任务。每个版本代表了不

0.越功能正确性的LLMs的重要性，以支持更互动、适应性和用同的交互风格：被动（仅在请求时提供帮助）、主动（自

户中心体验，特别是对于初学者程序员而言。

7

0IndexTerms—大型语言模型（LLMs）、AI辅助编程、交动化建议）和协作（对话与共同推理）。我收集了绩效

5互风格、以用户为中心的评估数据和用户反馈，以评估哪种方式最有效，以及它如何

2

:影响参与者的感觉。虽然先前的研究表明LLMs可以支

v

iI.介绍持编程教育[10],[11]，但本研究重点在于这种支持的形

x

r式如何影响结果和体验——这是一个长期以来被忽视

a大型语言模型（LLMs）正在迅速改变人们学习编

的问题。

码的方式。像ChatGPT[1]这样的工具，经过大量自

然语言和编程示例数据集的训练，现在可以解释概念、

A.相关工作

生成代码、回答问题，甚至帮助调试——所有这些都通

过对话界面[2],[3]完成。这些模型在教育环境中越来先前的研究探讨了大型语言模型（如ChatGPT）如

越常用[4]，为学生提供按需支持，这种体验更像是导何影响学生处理编程任务的方式。Sun等人(2024)[12]，

师而不是教科书。随着这一转变的持续进行，一个关键例如，研究了ChatGPT的存在如何改变了大学生在编

问题出现了：这些工具应该如何与用户互动才能最有效程作业中的行为、信心和表现。虽然他们的研究为用户

地发挥作用[4],[5]？目前关于LLMs的研究大多数集中感知和技术工具使用模式提供了有价值的见解，但并未

在拥有像ChatGPT这样的工具是否能提高