基于预训练语言模型与实例检索增强的作文自动评分研究_.pdfVIP

摘要

作文自动评分是自然语言处理在教育领域的重要应用之一，相比人工评分方

式其具有节省人力物力和消除评分主观性等优点，研究意义重大。作文自动评分

模型主要包括表示模块和评分模块，对于表示模块，之前的研究主要使用循环神

经网络和卷积神经网络来提取作文表示。然而，现有的方法中，使用预训练语言

模型的方法实验效果并不理想，没有充分利用预训练语言模型的优势来学习作文

的有效表征。至于评分模块，目前尚未有深入的研究，大多数方法仅使用排序损

失函数来影响评分过程，缺少其他方面的探索。针对以上问题，本文基于这两个

模块分别提出新的方法，主要展开如下研究。

（1）对于作文表示模块，本文提出一种基于预训练语言模型的作文自动评分

方法，目的是充分挖掘作文中所蕴含的语言知识，提取作文的有效表征，帮助模

型更好地理解作文的语义信息。该方法主要利用预训练语言模型所学习到的丰富

语言表示，分别提取作文的篇章级别表征和词汇级别表征，并基于此对作文进行

分数预测。本文还借鉴了预训练语言模型中迁移学习的思想，在源作文提示上进

行评分预训练，在目标提示上微调，从而有提高作文数据的利用率。本文在作文

评分数据集ASAP上进行了充分的实验，并取得了不错的评分效果，验证了本文所

提出模型的有效性。最后对模型中各模块进行消融实验，并探究不同的预训练语

言模型对本文所提出模型的适配程度。

（2）对于作文评分模块，本文提出一种基于实例检索增强的作文自动评分方

法，目的是强化作文评分的过程，从而提升模型评分性能。该方法主要利用实例

检索及实例间的信息交互，挖掘出更多作文实例间所蕴含的关系信息，在评分过

程中起到信息增强作用。该方法包含编码模型和检索增强模型，编码模型主要用

来学习训练集中作文的向量化表示并将其存入向量数据库，便于检索增强模型进

行检索。对于检索增强模型，根据输入作文可以检索得到相关的作文实例向量，

进行信息交互之后再预测出对应的分数。同时本文还提出了几种不同的实例检索

策略，检索时可根据不同的策略来检索到相关的作文实例向量。本文在ASAP数据

集上进行了充分的实验，在8个作文提示下的平均QWK达到了0.793，优于绝大

多数作文自动评分方法，并验证了实例检索增强的有效性以及检索策略的合理性。

关键词：作文自动评分；表示模块；评分模块；预训练语言模型；检索增强

I

Abstract

Automatedessayscoringisoneoftheimportantapplicationsofnaturallanguage

processinginthefieldofeducation,whichhastheadvantagesofsavinglaborandmaterial

resourcesandeliminatingthesubjectivityofscoringcomparedwithmanualscoring,sothe

researchisofgreatsignificance.Theautomatedessayscoringmodelmainlyconsistsofa

representationmoduleandascoringmodule,fortherepresentationmodule,previous

studiesmainlyuserecurrentneuralnetworksandconvolutionalneuralnetworkstoextract

theessayrepresentation.However,theexperimentalresultsoftheexistingmethodsusing

pre-trainedlanguagemodelsarenotsatisfactoryanddonotfullyutilizetheadvantagesof

pre-trainedmodelstolearneffectiverepresentationsofcompositio