一种基于短文本相似度计算的主观题自动阅卷方法.PDF

第５８卷 第１９期　２０１４年１０月 一种基于短文本相似度计算的主观题自动阅卷方法 ■ 张均胜　石崇德　徐红姣　高影繁　何彦青 ［摘　要］文本主观题自动阅卷的关键是提高考生答案文本和试题标准答案文本之间相似度计算结果的 准确率。参考文本试题人工阅卷方法，提出一种结合人工制定文本相似标准、词语集合及词语次序和同义词的 短文本相似度计算方法，设计并实现相应文本主观题阅卷系统。建立试题人工评分标准库，并在３８７道银行培 训领域真实考题数据集上进行自动阅卷与人工阅卷结果对比实验。结果显示，文本试题自动阅卷结果与人工 阅卷结果相比，完全相同的达到５８％，准确率达到８０％左右。 ［关键词］短文本　相似度　主观题　自动阅卷 ［分类号］ＴＰ３９１．１ 　　ＤＯＩ：１０．１３２６６／ｊ．ｉｓｓｎ．０２５２－３１１６．２０１４．１９．００５ １　引　言 文档相似度，本文称之为短文本相似度计算。 　　文本题目自动评卷系统需有机嵌入现有考试和评 　　考试作为对学习效果和知识掌握程度的一种检验 分系统。主观题只是考试内容的一部分，因此自动评 方法，在日常工作和生活中广泛存在。由于各类培训 卷功能作为考试评价的一部分，无需一个单独的系统， 考试人数较多、规模较大，教育和培训机构对于自动阅 而是要作为现有考试评分系统的一个子系统或者后台 卷的需求日趋强烈。培训考题分为客观题和主观题两 运行的服务程序。在发出自动评分指令后，该子系统 类。客观题表现为选择题和判断题，该类试题答案形 或程序应能够自动批量地对主观题评卷，结果按照现 式唯一且明确，自动阅卷比较容易。而针对简答题和 有系统评分结果所需数据格式返回。自动评卷系统要 论述题等主观题，自动阅卷却有相当的难度。考试试 能够嵌入到现有考试系统，且有单独的主观题评分查 题中有较多主观题，由于考试规模大、考生人数较多， 询界面，便于对自动评分结果进行审核和校正。 并且考试专业和内容各不相同，导致主观题人工阅卷 　　针对短文本的相似度计算，与词语之间相似度、句 时分发和评分工作量巨大，费时费力，而且人工阅卷中 子之间相似度和文本之间相似度紧密相关。对于短文 会有很多的主观因素影响评分结果，如教师的疲劳程 度、心情状态以及考生的字体是否美观等。因此，需要 本的相似度计算，一种是通过人工判断的方法，另外一 采用计算机自动阅卷技术加快阅卷速度，并保持较好 种是对文本自动进行相似度计算。针对文本的相似度 的评分客观性。 计算，则可以分为统计角度的相似度计算和语义角度 　　文本主观题阅卷自动化的关键是提高考生答案文 的相似度计算两种类型。 本和试题标准答案文本之间相似度计算结果的准确 　　单纯的人工判断对于文本主观题的自动阅卷没有 率。本文研究短文本相似度计算的目的是开发主观题 意义，但是完全的自动化阅卷由于缺少背景知识、考试 自动阅卷系统，以减少人工阅卷的工作量，并保证较好 答案文本较短以及大规模试题语料库缺失等原因而不 的自动评分质量。由于简答题和论述题的答案通常由 现实。为此，需要研究人工制定文本相似标准和自动