主观题自动批改技术研究与实现.docVIP

主观题自动批改技术的研究与实现 　　[摘要]在分析主观题的考试目的和答题特点的基础上，提出以考题相关知识点为基础的关键词以及各个关键词之间的逻辑关系匹配方法来实现自动评分，使自动评分更加灵活，更符合主观题答案多样性的要求。 　　[关键词]主观题 自动批改 关键词 逻辑关系 　　中图分类号：TP3 文献标识码：A 文章编号：1671－7597(2008)0620048－01 　　 　　一、引言 　　 　　国内主观题自动批改的研究刚刚起步，真正实用的系统还没有。高思丹[1]等人将“语句相似度”计算方法应用于文字类主观题的自动批改。李辉阳[2]等人则提出以基于关系的带权匹配技术实现CAI中简单论述正误的判定。以上这些方法，在主观题自动评分方面取得了很大的突破，具有很重要的意义。 　　文章在对已有算法研究的基础上针对简单文字类主观题（简单问答题）自动批改问题，提出了一种基于关键词及其逻辑关系的主观题自动批改算法，下面对该算法的主要思想、相关问题的处理方法及评分具体过程进行阐述。 　　 　　二、算法的主要思想及其实现 　　 　　（一）算法的主要思想 　　主观题的考试目的主要是考查学生对相关知识点或理论的正确理解，要求学生就题目涉及的基本知识点和相关概念进行简单论述，因此，只要考生答案切中问题所考查的相关知识点或者说正确答案的要点，并且各要点间的逻辑关系正确，即可以给分，不要求学生答案与标准答案完全一致。根据这一特性，我们可以根据题目考查的相关知识点，定义关键词以及各个关键词之间的逻辑关系，并给出关键词和逻辑关系所占的分值，然后按照这些评分规则对考生答案进行评分。关键词的正确率说明了考生对相关知识的了解程度，关键词之间的逻辑关系则说明学生对这些知识点是否准确理解，这种评分方式更符合考试的目的。 　　（二）关键词匹配 　　进行评分时首先将每道题能决定该题答案的关键词逐一找出来，存放在答案库的关键词数组中，然后逐一在考生答案中查找这些关键词。根据评分的严格程度，关键词匹配时可以设置一个关键词阀值k0（0＜k0≤1），当关键词的字符正确率低于该阀值时，该关键词得分为0。为了扩大匹配范围，在建立关键词数组时，建立关键词对应的同义词数组，评分时，如在考生答案中搜索不到关键词，则可以搜索其同义词。另外，如果考生答案中存在否定意义的词，那么在否定词之后的关键词即使匹配正确也不能得分。假设某试题分数为S0，关键词在该题中所占分值的比例为P（0≤P≤1），该题有n个关键词，每个关键词的分值为(S0×P)／n，关键词的阀值为k0，第i个关键词的得分权值（正确匹配的字符数/该关键词的总字符数）为Ki（1≤i≤n）则关键词匹配部分的评分公式可以定义如下： 　　 　　当Ki ＜ K0时，Ki的值为0；当Ki ≥ K0时，Ki的值为Ki。 　　（三）逻辑关系匹配 　　1．关系描述 　　在用问题所涉及的知识点组成的关键词组来描述概念时，关键词之间并不是完全独立的，它们存在着一定的逻辑关系。本算法将关键词之间的逻辑关系划分为三种：并列关系(各关键词相互独立， 位置没有任何约束)、顺序关系（各关键词存在先后顺序）和依赖关系（由修饰词和中心词构成，只有中心词出现，修饰词才有意义）。 　　2．关系的划分 　　 简单问答题的答案组织方式一般是由几个得分要点组成，每个要点可以由一条或多条语句组成，每个得分要点的语句又由若干个关键词组成。各个得分要点之间属于并列关系，每个得分要点的关键词之间则包含并列，顺序和依赖关系。下面给出具体的逻辑关系划分规则： 　　（1）按照得分要点将语句进行分组，每组包含一个得分要点的所有语句。 　　（2）将组内具有先后顺序的关键词建立顺序关系表，具有修饰和被修饰关系的关键词建立依赖关系表，具有并列关系的关键词可以不建表，即默认是并列关系。 　　依赖关系表：中心词修饰词 　　顺序关系表：顺序关系编号关键词顺序序列（关键词1、关键词2……） 　　（3）对于关键词之间具有多种关系的嵌套的情况，我们只考虑两种关系的嵌套并做如下处理： 　　并列关系内嵌套依赖或顺序关系：建立内层的依赖关系表或顺序关系表。 　　依赖关系内嵌套并列或顺序关系：指依赖关系中的修饰词组具有并列或顺序关系。建立依赖关系表，并指明修饰词的属性为并列或顺序，然后列出修饰词组或序列。如：中心词-修饰词属性(并列或顺序)修饰词组或序列。 　　顺序关系内嵌套依赖或并列关系：建立由依赖关系中心词或并列关键词组组成的顺序关系表。如：顺序关系属性（依赖或并列）关键词序列（中心词或并列关键词组）。 　　3．关系优先级和权值计算 　　在对关键词进行逻辑关系匹配时，为每个逻辑关系设定一个权值参数R（0≤R≤1）来表示该逻辑关系的正确度，不同类型的逻