基于概化理论和多层面Rasch模型的计算机化英语听说考试评分研究.pdfVIP

2015辱 3期 第 26=魍 课 程 与 教 学 基于概化理论和多层面Rasch模型的 计算机化英语听说考试评分研究 徐 鹰 ，曾用强 (1．华南理工大学 外国语学院，广东 广州 510641；2．广东外语艺术职业学院，广东 广州 510640) [摘 要】广东省高考计算机辅助英语听说考试评分工作采用评分人对考生录音评分。由于人工评分主观性强 ，会存 在各种评分误差，因此有必要对如何客观、公正地评分进行深入研究。本研究采用概化理论和多层面 Rasch模型 ，对某 次模拟考试的评分数据进行深入分析。评分数据包括三位大学教师和两位中学教师对广州市某中学 117位考生录音所 评的分数。概化理论研究结果表明：任务难度是测试总变异的主要来源(46．8％)；在当前高考评分工作采用评分人侧面 既嵌套于任务侧面又嵌套于考生的R： ×I)设计的双评条件下 ，概化系数为 0．647。多层面 Rasch模型分析结果表明： 尽管评分人严厉度差异显著，但 内在一致性很强；在偏差模式上 ，大学教师对任务一偏严、对任务三偏松 ，而中学教师则 相反。上述结果既为完善考试评分设计提供了重要的实证依据，也充分表明概化理论和多层面 Rasch模型在研究视角 上的互补性 。 关【键词】广东省高考计算机辅助英语听说考试；概化理论；多层面 Rasch模型 【中图分类号】G434 文【献标志码】A 作【者简介】徐鹰(1979一)，男，江西南昌人。副教授，博士，主要从事语言测试研究。E-mail：xuying@scut．edu．ca。 足 、误差定义过于笼统导致无法对误差来源进行分析 一 、 引言 等 问题6[1。 随着计算机技术的快速发展 ，计算机化英语 口试 为了克服上述缺点，教育测量学家们提 出了两种 正 日益受到人们 的关注 。【嗣目前 ，广东省高考英语听 主要研究方向。第一 ，从考试 的外部或宏观方面人手 ， 说考试已经采用了计算机辅助模式f3]。考生在计算机 沿用随机样本理论 ，探讨实测时的测量条件与结论推 上完成测试后，由评分人员根据评分标准对考生录音 广应用范围之间的关系。Cronbach等学者在上世纪 进行评分。由于评分过程涉及人的主观判断4【1，容易产 70年代提 出了概化理论 ，通过引入 因子分析 、方差分 生各种误差，因此有必要对如何客观、公正地评分进 量模型等统计工具，对信度的概念进行深入挖掘。其 行深入研究。 核心在于利用方差分析技术 ，结合测量的具体情景将 经典测试理论笼统的测试变异分解为不同部分，且每 二、文献综述 个部分对应特定 的误差来源 ，从而能够控制测量误 概化理论和多层面 Rasch模型是在经典测试理 差 。在此基础上 ，人们可以推断更广泛条件下可能得 论的基础上发展起来 的。经典测试理论是影响最为广 到的测量结果 ，做 出改进测量精度 的优化决策 。第二 ， 泛的一种测量理论嘲，但是人们在实践中也发现了这 从考试的内部或微观方面人手，采用数学建模和统计 一 理论 的众多缺点，如考生能力 的试题样本依赖性 、 方法，探讨考生的能力水平和试题之间的实质性关 试题参数的考生样本依赖性、平行测试假设难 以满 系。Rasch等学者在上世纪 50年代建立 了项 目反应 基金项 目：