应用电子技术的论文.docVIP

基于语句结构及语义相似度计算主观题评分算法的研究贾电如，李阳明（燕山大学 信息科学与工程学院，河北 秦皇岛 066004）2009-05-15 ??? 摘 要：文字类主观题的自动评分是实现远程教育中在线考试系统的一个关键技术，由于其自动评判具有相当难度，使自动评分系统中在对语句结构、关键字匹配、词性、词义以及语义方面的判断还存在很多问题。通过对已有的算法分析，提出了一种方法，采用浅层次句法结构分析和深层次语义分析相结合的算法计算相似度，该方法可以提高主观题自动评分的效率和准确度，具有一定的实用价值。??? 关键词：自动评分；动态规划；语句相似度；语义相似度 ? ??? 目前，在线考试系统正在逐渐代替传统的考试系统，能否实现主观题自动评分是在线考试系统中一个重要环节。对于主观题的考查，由于它的答题涉及到人工智能、模式识别以及自然语言理解等方面的理论知识，评阅时就需要解决很多技术上的问题，因而成为阻碍在线考试系统发展的一个技术难点。??? 当前的主观题自动评分算法中，多数使用的是对学生答案和标准答案中关键字匹配来计算语句相似度，如基于向量空间模型TF-IDF方法、词性词序相结合的方法以及基于语义依存树等[1-4]。已有的这些方法要么从句子的表层结构信息进行匹配而忽略了语句语义分析，要么就是从语义分析而影响了整体语句的相似性，这些都会影响到自动评分计算的精确度。由于汉语语言的结构和语义的复杂性，一种意思可以用多种形式和多种关键字表达，单从一方面很难对语句的意思作出准确的判断，因此提出了一种新的主观题自动评分算法策略，主要思想是采用浅层次句法结构分析和深层次语义分析相结合的算法计算相似度，将这两种思想结合起来使用可以互补不足，提高了主观题自动评分的准确度。1 语句相似度计算算法??? 在主观题自动批改系统中，语句相似度是用来评价学生答案和标准答案的接近程度。针对汉语的特殊性和机器翻译领域内一些对语句相似度的研究，采用动态规划法来计算语句相似度，主要思想是对语句进行层次句法分析。首先用正向最大匹配（MM）和基于词频统计的方法对句子分词，将分词后得到的语句视为词的向量，分别对各个关键词进行匹配。然后在此基础上利用动态规划算法求出最优路径及语句相似度[5]。1.1 相关定义??? 令P表示标准答案中的某一语句，Q表示学生答案中的某一语句。P和Q分别表示如下：P={P1,P2,…,Pm},Q={Q1,Q2,…,Qm},其中Pi表示P语句中的一个关键词，Qj表示语句Q语句中的一个关键词，且Pi=Pmi U Pgi, Qj=Qmj U Qgj，其中Pmi表示语句P中第i个词的词义集合，Pgi表示语句P中第i个词的词性集合；同理Qmj表示语句Q中第j个词的词义集合，Qgj表示语句Q中第j个词的词性集合。为了便于进一步讨论给出以下几个定义：??? 定义1：词义、词性相似度。词义、词性相似度可分别表示为：SMij=SM(Pmi,Qmj)，SGij=SM(Pgi,Qgj)。??? 定义2：关键词相似度。关键词相似度Wij=a×SMij+β×SGij其中a、β分别为词义、词性相似度的权值。??? 定义3：词向量的相似矩阵。用定义2计算出语句P和Q的所有关键词的相似度Wij(i=1,2,…,m;j=1,2,j=i=1,2,…,n),形成一个m×n矩阵M,称该矩阵为语句向量的相似矩阵。 ??? ??? 定义4：拓展词向量相似矩阵,对矩阵M进行如下拓展，形成矩阵M,令M0,0=0, Mi,0, M0,j=0(i=1,2,…,m; j=1,2,…,n),则Mi,j=max{Mi-1,j-1+Wij, Mi,j-1+γ,Mi-1,j+γ},其中，γ表示词位置不对应时的惩罚系数。1.2 语句相似度求解算法??? （1）利用动态规划法先求出M矩阵[6]。??? （2）M矩阵的初始化??? 创建一个(m+1,n+1)矩阵，矩阵的行表示标准答案语句P的每个词，矩阵的列表示学生答案语句Q的每个词，利用定义4进行初始化，将M矩阵的Mi,0,M0,j设置为0.其中i=0,1,2,…,m; j=0,1,2,…,n。??? （3）利用定义1、2、3、4依次求解M矩阵中的每个元素Mi,j。??? （4）求解最优相似矩阵??? 先从点(m,n)开始，到(1,1)结束。在点（i,j）上选择Mi-1,j-1+Wij,Mi,j-1+γ,Mi-1,j+γ最大者为最优点，所对应的Mx, y作为路径的前一个节点(x,y)。如果出现三者中两部分值相同且最大时，若该值在斜路径上则选择斜路径上(i-1,j-1)作为路径的前一个节点；若不在斜路径上，优选水平方面(i-1,j)作为路径的前一个节点；依次递推则选择一条最优路径。这样得到的路径上就是一条最优的路径，路径上最