基于分词算法VSM的文本主观题自动评分算法研究.docVIP

基于分词算法VSM的文本主观题自动评分算法研究 　　摘要：论文将空间向量模型、分词算法等中文自然语言理解的研究成果应用于基于文字的主观题答案（包括参考标准答案和考生答案）的计算机“理解”过程中，并提出了基于矢量空间模型（VSM）的文本矢量特征匹配算法并用于计算机对考生主观题答案的自动评判中。实验表明，算法具有一定评分准确度和实用性。 　　关键词：自动评分；分词；矢量空间模型；文本特征匹配 　　中图分类号：TP301文献标识码：A文章编号：1009-3044(2011)25-6122-02 　　Research of the Text Subjective Questions Auto Remarking Algorithm Based on Word Segmentation Algorithm VSM 　　LI Xue-jun 　　(Southwest University of Science and Technology, Mianyang 621010, China) 　　Abstract: The paper makes use of the studied results(such as Vector Space Model (VSM), Word Segmentation algorithm and so on) of the native language understanding, and applys them in processing the text subjective questions answer (including the standard answer and the students answer), and then it used the text_charactered vector matching algorithm to auto remark those students examining paper by the computer system. According to the experiment, the algorithm has accuracy of remarking and some valuable domains of application. 　　Key words: Auto-remarking; Word Segmentation algorithm; Vector Space Model (VSM); Text character matched 　　随着计算机技术和互联网技术迅猛发展，传统教育模式发生了变化，越来越多的课程提出了在线考试的需求。计算机可以很好地完成客观题（如选择题、判断题）的判分工作，其判分策略、关键技术及其应用实例详见文献[1]至文献[3]。亦即把考生作答的结果和题目标准答案进行精确匹配从而得到考生的得分。文献[4]提出了一种近似串匹配算法来对文本录入题的自动评分算法，其本质还是进行文本的比较，与客观题的判分原理基本是相同的。 　　计算机自动评分是指利用计算机程序来模拟人工评分的标准和内部过程。对客观题的评分是通过把试题的标准答案与考生的答案做一个精确比较，并据此作为是否给学生相应的题目分值；对于主观题，目前一般是让考生把其作答的结果形成一个文件（答案文件），再通过网络把考生的答案文件上传到考试服务器中的专用目录中，科任教师在考试结束后对考生的答案文件进行人工评判来进行给分；最后把考生客观题的计算机自动评分结果和主观题的人工评分结果累加起来作为考生的最终成绩。对于客观题可以完全不要人工干预，而主观题就必须在人工干预下才能完成。 　　因此本文就此提出将人工智能的自然语言理解技术（主要是分词算法）、文本的空间向量模型表示和知识的框架表示内容应用到网络考试系统中的主观题的自动评分过程中。 　　1 文本主观题自动评分原理 　　对于在线考试系统来说，其自动评分是在特定范围内的，不需要让其理解所有的自然语言，只需要理解标准答案即可。因此，应该使用某种算法使标准答案转化成机器能够理解的形式，将考生答案也按照一定的规则转化成计算机可以理解的形式，然后再将其和标准答案进行匹配并评分。其关键是如何将评分规则转化为可以被机器理解的知识库。主观题的自动评分原理如图1所示。 　　2 自动分词算法简介 　　2.1 最大匹配分词算法 　　匹配分词法是按照一定的策略将待切分的汉字串与一个“充分大的”机器词典（如金山词霸等）中的词条进行匹配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配。按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）