网络双评过程中作文评分误差以及评分者效应的分析-未来教育高精尖.PDFVIP

2015年第2期 网络双评过程中作文评分误差 以及评分者效应的分析 ——以大规模英语考试作文评分为例 李美娟 刘红云 摘要：目前大规模考试作文评分大都采用双评评分模式，本研究采用多侧面Rasch模型（MFRM）分析 双评模式下大型英语作文评分中的评分者误差来源及主要影响因素。对57名评分者所评价的2427篇作 文分析发现：①评分者的宽严度存在显著的差异；②在作文评分中，约有22.8%的评分者之间的一致性较 差，也存在约3.5%的评分者之间一致性过高；③约90%的评分者自身的一致性都较高，但仍有8.8%的评分 者自身一致性很差，约2%的评分者出现评分自身一致性过高的情况；④从整体上讲，评分者在不同的评分 标准（或维度）上、不同评分等级宽严程度的把握存在差异；评分者和被试，以及评分者、被试和评分标准三 者的交互作用不显著；⑤评分者对男生和女生具有相同的宽严度。 关键词：主观题评分；多侧面Rasch模型；评分者误差分析 【中图分类号】G405 【文献标识码】A 【文章编号】1005-8427(2015)02-0039-10 [2][3] 分的系统变异 。换句话讲，评分者效应与评定量 1 问题提出 尺的结构无关，与被试的能力无关，但却会影响评 1.1 英语写作评分概述 [4] 定的效度 。 主观题是大型考试必不可少的题型，其可以测 以表现性为基础的语言评价已经越来越引起 量被试对某个概念的理解、掌握以及应用概念解决 研究者们的注意，这种考试要求被试在现实生活中 [1] [5] 问题的过程，而不是简单的再认或者猜测 ，但被试 使用学到的知识和技能 ，不论是GRE，TOEFL，还 在主观题上的得分往往通过评分者依据既定的标 是国内四六级英语考试，或者初高中或者大学的升 准进行评定，由于每个评分者不同的个性特点可能 学考试，作文题是考查学生写作能力高低普遍采用 会使得评分存在误差，从而影响考试结果的客观和 的题型，但是评分过程必然会出现评分者效应。被 公平。这种现象也就是所谓的评分者效应（Rater 试在特定写作任务的获得高分的概率不仅决定于 Effect）。评分者效应，如评分的准确性（Accuracy／ 被试的写作能力，而且可能受以下几个因素的影响 Inaccuracy）、严厉度（Harshness／Leniency）和集中 ①写作任务的特征；②评分者的个人特质；③评分 度（Centrality／Extremism）常常被认为是评分者评 时的特定情境；④学生的背景特征以及对写作任务 本文为北京市教育科学“十二五”规划2012年度青年专项课题“学业水平测验认知诊断功能的应用研究”（CHA12109） 成果之一。 [作者简介] 李美娟，女，北京教育科学研究院，助理研究员（北京 100191） 刘红云，女，北京师范大学，教授（北京 100875） ChinaExaminations 39 测量与评价 或者问题的兴趣；⑤不同影响因素的交互作用。这 将各种误差的变异最小化。但是GT对原始分数进 些因素引起的评分变异就是评分者效应，所以有很