教育领域人工智能基准测试：跨学科中文大型语言模型的综合评估.pdfVIP

第17卷第1期广西职业技术学院学报Vol.17,No.1

2024年2月JOURNALOFGUANGXIVOCATIONALANDTECHNICALCOLLEGEFeb.2024

教育领域人工智能基准测试：

跨学科中文大型语言模型的综合评估

王野

(南宁师范大学计算机与信息工程学院，广西南宁530299)

摘要：随着ChatGPT的发布，大型语言模型（largelanguagemodel,LLM)已经在全球迅速薪露头角并在各行各业广泛

应用。与此同时，以中文语言为基础的大型语言模型研究逐渐展开，其在教育领域的应用与效果也有待研究。为此，文章以

10年高考题目数据集“GAOKAO-Bench”为测试数据，通过统计和分析11个不同来源（包括大型企业、学术机构和新兴公司）

的开源中文大型语言模型在9个不同学科（语文、数学、英语、物理、化学、生物、历史、政治、地理)中的表现，来评估不

同的中文大型语言模型在教育教学自动评估中的效果。随后，文章根据评估结果，从多学科、多维度出发，对模型在各个科

目上的推理表现进行分析研究。最后，文章对中文大型语言模型在教育教学自动评估中可能遇到的挑战与问题进行探讨，并

提出可供优化的思路与方法，以期推动中文大型语言模型在未来教育教学中的发展与传播。

关键词：人工智能；大型语言模型；深度学习；自然语言；教学自动评估；ChatGPT

中图分类号：TP312文献标识码：A

文章编号：1674-3083(2024)01-0061-08

随着ChatGPT模型的发布，大型语言模型在型来生成数学题目；Bernius等[5]在整个课程中都

文本生成、问答、摘要等领域为整个世界的技术利用大型语言模型来评价与评估学生的学习成绩，

和应用带来了巨大的推动。当前，国内的中文大准确率达到了92%，被教师普遍接受；Zhu等[6]建

型语言模型也迅速跟进，阿里巴巴、清华大学等立了地理学科在线课程的形成性反馈系统，反馈

科技公司与研究院校纷纷推出了各自有代表性的系统采用自动评分技术来评估学生的表现；Reham

中文大型语言模型，为教育教学的数字化转型提等[7]通过人工智能对学生的学习结果进行自动评

供了有力的帮助。同时，以ChatGPT为主导的大价，取得了较好的效果。而大型语言模型在自动

型语言模型在教育教学的自动评价技术中开始广化的教学评价中不只针对学生个体，也可以大规

泛应用[2]。例如，Moore等[3]利用ChatGPT3在化模地进行问题的自动生成与回答，如Qu等[8]利用

学教育教学中对学生的学习成绩进行了智能评估，大型语言模型来生成高质量的学科题目，同时生

并根据评估结果提出不同的专业与指导建议；成答案讲解，这在问题与答案的生成任务上取得

Shen等[4在数学的教育教学中，利用大型语言模了很大的突破；在英语学科上，Dijkstra等[9]利用

收稿日期：2023-08-31；修订日期：2023-12-12

基金项目：2023年广西学位与研究生教育改革课题“教育数字化转型背景下教育硕士数字素养提升策略研究与实践”

(JG

作者简介：王野（1996一），男，山东德州人，南宁师范大学计算机与信息工程学院硕士研究生，研究方向为基于机器学习

技术与深度学习技术的教育融合与应用。

61

广西职业技术学院学报17卷

大型语言模型自动生成总结性反馈和评分测试；