网络双评过程中作文评分误差以及评分者效应的分析--以大规模英语考试作文评分为例.pdfVIP

：：2015年第2期 网络双评过程中作文评分误差 以及评分者效应的分析 以大规模英语考试作文评分为例 蠢 李美娟 刘红云 摘要 ：目前大规模考试作文评分大都采用双评评分模式，本研究采用多侧面Rasch模型(MFRM)分析 双评模式下大型英语作文评分中的评分者误差来源及主要影响因素。对57名评分者所评价的2427篇作 文分析发现：①评分者的宽严度存在显著的差异；②在作文评分中，约有22．8％的评分者之间的一致性较 差，也存在约3．5％的评分者之间一致性过高；③约90％的评分者 自身的一致性都较高，但仍有8．8％的评分 者 自身一致性很差，约2％的评分者出现评分 自身一致性过高的情况；(从整体上讲，评分者在不同的评分 标准(或维度)上、不同评分等级宽严程度的把握存在差异；评分者和被试，以及评分者、被试和评分标准三 者的交互作用不显著；⑤评分者对男生和女生具有相同的宽严度。 关键词 ：主观题评分；多侧面Rasch模型；评分者误差分析 【中图分类号】G405 文【献标识码】A 文【章编号】1005—8427(2015)02—0039—10 分的系统变异 III。换句话讲 ，评分者效应与评定量 1 问题提出 尺的结构无关 ，与被试的能力无关，但却会影响评 1．1英语写作评分概述 定的效度 。 主观题是大型考试必不可少的题型，其可 以测 以表现性为基础 的语言评价 已经越来越引起 量被试对某个概念 的理解、掌握 以及应用概念解决 研究者们的注意，这种考试要求被试在现实生活中 问题的过程，而不是简单的再认或者猜测”I，但被试 使用学到的知识和技能 I，不论是GRE，TOEFL，还 在主观题上的得分往往通过评分者依据既定的标 是国内四六级英语考试 ，或者初高中或者大学的升 准进行评定，由于每个评分者不同的个性特点可能 学考试 ，作文题是考查学生写作能力高低普遍采用 会使得评分存在误差 ，从而影响考试结果的客观和 的题型，但是评分过程必然会 现评分者效应。被 公平 。这种现象也就是所谓的评分者效应 (Rater 试在特定写作任务的获得高分的概率不仅决定于 Effect)。评分者效应，如评分的准确性 (Accuracy／ 被试的写作能力 ，而且可能受以下几个凶素的影响 Inaccuracy)、严厉度 (Harshness／Leniency)和集 中 ①写作任务的特征；②评分者的个人特质 ；③评分 度 (Centrality／Extremism)常常被认为是评分者评 时的特定情境 ；④学生的背景特征以及对写作任务 本文为北京市教育科学 “十二五”规划2012年度青年专项课题 “学业水平测验认知诊断功能的应用研究”(CHA12109) 成果之一。 [作者简介]李关娟，女，北京教育科学研究院，助理研究员(北京 100191) 刘红云，女，北京师范大学，教授(北京 100875) ChinaExaminations【39 测量与评价 或者问题的兴趣；⑤不同影响因素的交互作用。这 将各种误差的变异最小化。但是GT对原始分数进 些因素引起的评分变异就是评分者效应 ，所以有很 行分析，并没有从根本上解决i贝4验结果的样本依赖 多研究则关注评分者效应对评定结果的影响以及 性，另外GT也假设测量具有等距性。CTT和GT在 对于校正评分者效应的统计模型的发展。一些研 考虑题 目难度 、测