基于学术能力培养的高校开放试题评分信度研究.docx

基于学术能力培养的高校开放试题评分信度研究 近年来，随着高等教育的深入和课程改革的发展，许多大型业务考试引入了具有创新和具个性特征的实践技能作为检查目标的大型开放试题。这种类型的考生具有“活力”，鼓励他们表达自己的个性特征和学术倾向。然而,这种试题几乎不可能列出“要点”以实现“硬批”,只能列出评分的方面和规则。阅卷评分时,则更多地依赖评阅者的理解与认同。这使类似于语文学科作文评分的问题——试题越活,误判、错判率越高的评分信度问题就日益突出。它直接制约了命题,成为课程改革的“瓶颈”。 2003年高等院校招生秋季考试(上海)首次对12,915份历史答卷引入专家团体整体评分法和运用现代信息技术进行网上控制阅卷,试图较好地解决以上问题,为各界所关注。本文就这项改革的提出、实施和效果作较为详细的报告。 一、 再交卷的裁决 过去,高等院校招生考试(上海)中学历史答卷采用的是手工操作的“一人阅卷、一人复卷,定组、要点阅卷法”,即将阅卷者分成若干组,每组两人,组内互相阅卷、复卷;遇到分歧时,两人协商解决,若解决不了,再交阅卷中心组裁定的方法。在此流程中,每包试卷至少在每位阅卷员手中周转一次;每份试卷的总分合成要经过由人工进行的——阅卷员小计和记录大题分,再合计和登录试卷总分;设专门的计算员复核小题、大题与试卷总分;阅卷检查组随机检查与更正;机房人员两次输入总分、然后由计算机复核、计算、登录总分。考生查分时,查分员需到库房找到试卷,再次根据阅卷记录计算总分,核对原计算的正误。试卷与考生质量统计分析时,需重新抽样、记分输入、计算推断。在短短的十余天中,要准确无误地进行以上工作,所有参与人员都是十分紧张的。但这样的阅卷方式却存在以下两类问题: 补救措施受限制 从理论上看,“一人阅卷、一人复卷,定组、要点阅卷法”的优点是在“要点”面前人人平等,显得比较“硬”而一致,有较高的“标准”化程度。但用这种方法评阅主观性试题的答案,特别是评阅大型主观性试题的答案时,却忽视了答案的整体性与个性,如思维的逻辑性、独特性,文字表述的流畅性、特殊性。由此,鼓励了教学中程式化、“八股”化的不良倾向,甚至助长了不求甚解的机械学习。为此,命题者曾采用了许多补救措施,如制定针对上述问题的评分细则或奖励措施。然而,从实践上看,由于大规模考试的阅卷时间紧、“包干”制度、阅卷者的主观因素和其它众所周知的操作上的原因,使这些补救措施甚难实行。甚至在有些情况下,复核者的工作几乎等同于签名,这样,“两两”分组的组织方式不仅使不同组之间,而且使同组之间的偏差有更多的机会延续下去。 检验试的误判、漏判的问题 1、阅卷后期,阅卷员有寻找尚未阅过的试卷之苦; 2、由于整个阅卷流程均为手工运作,多道分数合成、输入,出错概率较高; 3、阅卷检查组的抽样检查类似大海捞针,不用说有许多误判、漏判见不到,即使见到了,也只能见一处,改一处,在此以前的误判、漏判卷,很难再都找回来; 4、由于分数合成存在错误率,考生查分成为必要环节,占用了从阅卷到录取的原本非常有限的时间; 5、试卷与考生质量统计分析只能采用抽样法,存在总体推断的置信区间,影响了分析判断的精度。 以上问题严重地损害了考试的有效性、可靠性和社会认可度。 二、 实验方法和标准 第一,对于大型开放式试题,国外常用专家团体整体评分方法,即多位专家根据明确的、但又比较原则的标准,快速观察(或阅读),独立评分,而后去掉极端分数再求平均值或求全平均值的方法(以下简称新法)。最为常见的是体育比赛中,对那些既有规定动作,又有个人创新,且通过观察评分的项目均采用此法。另外,个性张扬比较突出的艺术类评比,更是一向采用此法。这种方法的最大特点是将以评委为代表的专业群体对个性与创新的认可程度作为评价尺度,同时,又兼顾了评委内部对同一对象评价之差异的平衡——以专业群体的“主观”取代了在实际上难以确定的“客观”,以群体平衡的“模糊”替换了在操作上可能误差更大的“精确”,从而提高了评分的有效性、可靠性和权威性。将这种方法用于中学历史学科大规模考试之大型开放式试题的评分是否有同样的效果和可行性? 第二,必须运用现代信息技术,实行网上控制阅卷,确保专家“独立评分”,同时解决手工操作带来的问题。 为此,我们以2002年全国秋季高考(上海)历史试卷第37题为实验试题,运用不同的评分方法进行了比较研究。结果,新法取得了预想的成功。接着,根据专家鉴定建议,我们又在2003年全国春季高考(上海)语文学科上进行了中试,得到了各有关方面的肯定,并取得了大规模运作的经验。经过以上实验和试验程序,上海市教育考试院决定在2003年秋季高考(上海)历史答卷的阅卷工作中引入专家团体整体阅卷法和利用现代信息技术实行网上阅控制卷。 2003年高考(上海)历史试卷有四种题型,共36题。第一次推出了满分为30