简短问答题计算机辅助评分系统设计与实验.docVIP

简短问答题计算机辅助评分系统设计与实验 　　摘 要: 本研究以模糊数学中的单向贴近度为理论基础设计出一套英语简短问答题计算机辅助评分系统,并且通过三次实验逐步改进了该系统。此研究的目的在于运用计算机技术,减少人为因素在简短问答题评分过程中的影响,在保持较高评分信度的同时节省人力等资源。 　　关键词: 简短问答题;计算机辅助评分系统;设计;实验 　　中图分类号:H319.3文献标识码:A文章编号:1001-5795(2010)01-0037-0005 　　 　　简短问答题作为主观题的一种,对英语教学有良好的反拨效应,但其评分工作量大,需要耗费大量的人力物力等资源,而且易带有阅卷员的主观因素,评分信度不高。这可能是它不能在大规模英语测试中广泛应用的重要原因。近年来,随着计算机技术的迅猛发展,关于计算机辅助评阅主观题的研究日趋增多。国外在这方面已经取得了一些卓越的成绩。最具代表性的是作文评分系统,如PEG(Project Essay Grade),IEA(Intelligent Essay Assessor)和E-rater(Electronic Essay Rater)。其中,PEG重语言形式,IEA重作文内容,而E-rater则既重形式又重内容,明显比其他两个评分系统更胜一筹(梁茂成、文秋芳,2007)。E-rater是由美国ETS(Educational Testing Service)于20世纪90年代开发,其目的是用于GMAT(General Management Aptitude Test)考试的作文阅卷(Burstein et al.,1998a;1998b;1998c)。据Burstein et al.(2001)、Cohen et al.(2003)和Valenti et al.(2003)的描述,E-rater1999年投入应用,至2003年共评定作文750,000篇,经过与常规人工批阅作文的结果比较,评分的准确率一直超过97%。 　　在简短问答题自动评分方面,早在20世纪90年代,Jill Burstein和Randy Kaplan(Burstein,1996)领导的ETS小组就开始对几个词或者几个短句组成的简短文本进行自动化评分的研究,其评分系统Automark的评分准确率可以达到93~96%。但是他们的评分系统只能给出分数等级,不能给出具体的分数。另外,他们花在文本预处理上的时间过长,现在正在努力缩短预处理时间(Valenti,2003)。 　　国内在主观题自动评分方面的研究尚处于起步阶段。高思丹、袁春风(2004),孟爱国、卜胜贤等(2005)和梁茂成(2005)等做了初步的探索。高思丹、袁春风(2004)和孟爱国、卜胜贤等(2005)提出影响评分的两大因素,一个是关键词,另一个是学生回答和参考答案的相似度。基于这两个因素,他们设计出一套主观题自动评分的算法来模拟人工评分过程,但是他们的算法过于笼统,没有针对某种具体的题型,如果要投入应用,还需更具体。梁茂成的研究由于“主要以浅层特征的统计分析为主,以及样本数量、范围的局限,其评分模型与实用系统尚有一定的距离”(葛诗利、陈潇潇,2007:28)。本文在借鉴他们研究的基础上,运用模糊数学中的单向贴近度理论,针对简短问答题,设计出一套计算机辅助评分系统。 　　 　　1 理论基础 　　 　　1965年著名数学家Lotfi Zadeh发表了论文“模糊集合”(Fuzzy Sets),标志着模糊数学这门学科的诞生。模糊数学作为数学的一个新兴分支学科,能够使过去那些与数学毫不相关或关系不大的学科(如生物学、心理学、语言学、社会科学等)都有可能用定量化和数学化方式加以描述和处理。尤其是随着计算机应用的广泛和深入,要使计算机能像人脑那样识别和处理 　　作者简介:孟凡娜:女,硕士,助教。研究方向:语言测试与教学。 　　辜向东:女,博士,教授。研究方向:语言测试,语言教学和教师发展。收稿日期:2009-09-10基金项目:本文系国家社会科学基金项目《大学英语四、六级考试反拨效应历时研究》(项目编号:07BYY030)对CET本身研究的阶段性成果之一,也是重庆大学语言认知研究所资助项目《计算机写作阅卷系统的研制、开发与利用》的研究成果。本文第二作者为北京外国语大学中国外语教育研究中心兼职研究员,此项研究也得到该中心资助。 　　复杂模糊事物,就必须研究和处理模糊性(蒋泽军、王丽芳等,2004)。 　　单向贴近度是模糊数学中的一个概念,通常用来衡量两个模糊集的贴近度。下面是单向贴近度在本研究中的运用。 　　1.1 单向贴近度的定义 　　在本研究中,单向贴近度用来测量学生回答和参考答案的相似度,是评分的一个重要指标。英语中,一个句子由多个单词按照一定