主观题自动评分算法模型的研究.docVIP

主观题自动评分算法模型的研究 　　【摘要】本文提出了基于文本分类的主观题自动评分模型。模型采用文本词性相似度和文本浅层相似度作为分类器的条件属性，在一定程度上提高了文本的语义理解。通过对已有文本的学习，使用考生分数作为分类类别构建决策树分类器。将待测文本输入决策树分类器从而实现答案的分类，即完成自动评分。通过与人工阅卷过程对比，验证了系统是有效可行的，符合人工阅卷的过程。 　　【关键词】主观题自动评分；文本分类；决策树；文本相似度 　　Abstract：The model adopts text speech and surface similarities as condition attributes for classifier.In a certain extent，our model improves the semantic understanding of the text.Using the examinee scores as classification categories to construct the decision tree classifier through the study of existing text.Finally，the automatic scoring reduced to input the student answer to the decision tree and the tree decide what score should be marked.Compared with the manual scoring process，we find our model is feasible and effective and in line with manual marking process. 　　Keywords：Automated assessment of subjective test；Text classification；Decision tree；Text similarity 　　1.引言 　　主观题评分算法属于自然语言处理技术范畴。当前国内的信息化考试系统只能完成客观题的自动评分，还不能实现主观题的自动评阅[1]。虽然国外在这一方面的研究远远早于国内，但是由于中文与西文在本质上的差别，很多在西文上取得的研究成果无法应用于中文考试系统中。由于汉语是一个复杂开放的体系，存在大量的近义词、同义词以及非标准用语，因此中文主观题自动评分系统的研究的难道远远大于英文文章评分系统[2]。国内学者专家也投入了大量的精力，并在基础理论方面取得了一些突破，但距离自动评分系统的大规模推广还有很长的一段距离。 　　主观题评分模型最主要的问题是如何计算标准答案和考生答案的相似度。有了文本相似度就可以根据评分策略进行评分。目前文本相似度计算分为两大类：文本表面相似度计算和基于语义的文本相似度计算。前者通过字数相似度、句长相似度、词数相似度来评价两文本间的相似度。这种基于句子表面特征的相似度计算方法仅考虑在字符串层面的相似度计算，缺乏有用的语义知识，因此精度相当低。在实际应用过程中通常会加入一些语义知识提高计算精度，例如同义词等[3]。基于语义的文本相似度计算比较成熟的是基于知网的语义相似度计算，由于知网是对词汇语义以及知识世界的详尽描述，因此知网复杂度较高，并且知网本身在知识表达上尚未形成规范，还在不断的完善和改进中[4]。 　　本文提出一种基于决策树的文本分类自动评分模型。该模型基于这样的思想：对于一个题目来数，存在大量已经经过评分的考生答案及其得分，可以根据实际得分情况将考生的答案划分为若干类。然后通过对已有考生答案进行机器学习，构建决策树。之后就可以通过决策树来自动判别考生答案所属的类别，答案所属类别即考生的得分。 　　具体而言，本文的主要工作可概括如下： 　　a.提出标准答案与考生答案间的句子匹配算法。相似度计算依赖于关键词的匹配，而对于一个得分点句子，考生答案的关键词可能散落在不同的句子之中。例如，标准答案一个得分点就是一个句子，而考生使用多个句子来描述相同的意思。 　　b.基于同义词词典提出一种计算词条语义相似度的方法。对于同一句话，考生答案可能存在与标准答案不同的表达，但表达的意思完全一致。典型的是考生采用与得分点意义相近的表达方式进行作答，也就是使用所谓的同义词。 　　c.提取决策树评定所需的决策属性。通过分析和研究最终从文本浅层相似度和语义层相似度两个不同的层面选取若干特征属性作为决策属性。文本浅层特征包括关键词相似度、句长相似度、实词个数相似度等。语义层相似度选取文本中不同词性词的语义相似度来表示。 　　本文第2节描述了文本