采用多面Rasch模型提高英语运用测试的评分质量.pdfVIP

第17卷第5期 开放教育研究 V01．17．No．5 EducationResearch Oct．2011 2011年10月 Open 采用多面Rasch模型提高英语运用测试的评分质量 杨睿 (中央广播电视大学外语学院，北京100031) 【摘要】 目前电大系统英语考试的口试和作文部分多采用语言运用测试的方式。语言运用测试由于引入 评分者而使评分的主观性变大。如何控制评分者差异对考生分数的影响成为保证语言运用测试评分质量的重 要环节。本文在比较了行为测试中评分质量控制方面常用的三种理论的基础上，着重介绍了多面Rasch模型在 提高评分质量方面的贡献，并探讨了在电大系统如何采用该模型对英语运用测试中的评分者进行培训，以控制 评分质量和提高考试信度。 【关键词】 多面Rasch模型；评分者差异；评分者培训；行为测试 【中图分类号】G40-058．1【文献标识码】A 【文章编号】1007-2179(2011)054)073-06 题。在传统的以多项选择题为主的客观评分中，考生的分数 问题的提出 可从考试中直接得出，不需要评分者的直接参与。而在语言 Performance 运用测试中，评分者需要根据评分量表对考生在测试中的行 语言运用测试(Language Assessment)近年来 已取代传统的以多项选择题为主的标准化考试成为第二语 为表现进行等级评定或打分(孔文等，2007；McNamara， 言测试领域里口试和写作的主要测试方式。在第二语言测 1996)。这种主观考试的评分基本上依赖于评分者的主观印 试中，这种行为测试方法主要是通过要求考生完成一些与日 象，容易受到评分者的知识水平、评分经验、爱好、情绪、疲劳 常生活或工作相关的任务来考查并推断考生的实际语言运 等因素的影响。因此，主观考试的评分者之间一般都存在 用能力(McNamara，1996)。例如，TOEFL(托福)和IELTS(雅着主观差异，而且同一个评分员在不同的时间段的打分也可 思)的口语考试要求考生口头描述所看到的图片或根据考题 能不稳定。研究证明，一个评分者在评分初始阶段和最后阶 阐述自己的看法；写作考试则多要求考生根据所给题目写出 段的严厉程度会随着评分者的疲劳程度和前面批改过的考 一篇议论文。现在，不仅TOEFL和IELTS这类大型国际化 语言测试采取语言运用测试，我国普通高校和成人高校的外 国外文献将这种有关评分者的现象称为评分者效应(Rater 语口语及写作考试也大多采用了这种形式。 Effects)。由于评分者效应直接影响到考生分数的公正性和 语言运用测试的发展源于人们对传统的标准化测试的 考试的信度，如何控制评分者效应并减少其对考试的影响， 不满(孔文等，2007)。以多项选择题为主的标准化考试在测是语言运用测试中的一个重要环节。 试考生的语法和阅读理解等知识方面具有高效性，但却因其 本文拟从语言运用测试中的评分者效应方面探讨广播 测试方式单一无法有效考查考生的知识运用能力而受到批 电视大学系统英语运用考试评分中存在的问题，并介绍多面 评。而语言运用测试在信度方面能更准确反应考生在真实 Rasch模型在控制评分者效应方面的效用，以及在电大系统 语境中的第二语言运用能力。同时，语言运用测试良好的反 中如何利用这一模型提高评分质量。之所以选择以电大英 拨效应更是为教学提供了宝贵的反馈信息。语言运用测试 语运用测试的评分为研究对象，主要是基于两个原因：一是 通常是由评分者根据设计好的评分量表对考生的表现进行 和普通高校相比，电大系统在英语运用测试乃至行为测试中 打分。例如，英语写作考试的评分量表通常从语