大语言模型作文评价反馈质量的实证分析.pdfVIP

Vol.36No.32026

大语言模型作文评价反馈质量的实证分析*

瞿锦雯叶丽新[通讯作者]孙潘懿徐悦吴蓓蕾

（华东师范大学中国语言文学系，上海200241）

摘要：当前，大语言模型（LargeLanguageModel，LLM）凭借先进的文本处理能力为智能作文评价提供了优化契机，

但其反馈内容质量和语义分析能力仍有不足，而其常出现的主题浅显、润色过度等问题恰暴露其反馈尚无法满足语文

作文以“主题、表达”为核心的评价要求，因此有必要评估其反馈质量。为此，文章首先通过文献阅读、专家咨询研

发“大语言模型作文评价反馈质量评估标准”，利用10个LLM依据指定作文评分标准对50篇记叙文和50篇议论

文分别进行评价。然后，文章基于该标准对LLM反馈进行打分，计算评分者间一致性并对研究结果进行描述性分析

与质性总结。研究发现：LLM的反馈在文体稳定性、丰富性和深度理解上有提