复杂决策规则下MIRT的分类准确性和分类一致性-心理学报.PDF

心理学报 2016, Vol. 48, No.12, 16121624 Acta Psychologica Sinica DOI: 10.3724/SP.J.1041.2016.0 1612 复杂决策规则下MIRT 的分类准确性和分类一致性* 1 2 1 汪文义 宋丽红 丁树良 (1 江西师范大学计算机信息工程学院; 2 江西师范大学初等教育学院, 南昌 330022) 摘 要 介绍多维项目反应理论模型下分类准确性和分类一致性指标 , 采用蒙特卡罗方法实现复杂决策规 则下指标计算 , 并从数学上证明分类准确性指标两类估计量在均匀先验和相同决策规则条件下依概率收敛 于同一真值。研究结果表明：分类准确性指标可以比较准确地评价分类结果的准确性; 分类一致性指标可以 较好地评价分类结果的重测一致性 ; 在一定条件下 , 基于能力量尺的指标优于基于原始总分的指标 ; 纵使 测验维度增加, 估计精度仍比较好 ; 随着测验长度和维度间相关增加, 分类准确性和分类一致性更高。指标 可以用来评价标准参照测验或计算机分类测验的多种决策规则下分类信度和效度。 关键词 多维项目反应理论; 决策规则 ; 分类一致性 ; 分类准确性 ; 信度 ; 效度 分类号 B841 1 引言 2006; 辛涛, 李勉, 任晓琼, 2015)。 CRT 一般将被试分为“掌握、未掌握”或“初级、 标准参照测验(CRT)关注学生具体知识或技能 中级、高级”等表现水平, 测量结果直接决定学习进 的掌握情况及达到的水平。CRT 有助于发挥考试的 程、被试选拔和教学质量评价等。而测量往往存在 诊断功能和促进学生发展, 从而对教育评价产生了 测量误差, 如何根据标准和综合各种测验分数对被 深刻影响(戴海琦, 2010) 。CRT 的广泛应用或需求, 试表现水平给出可靠而有效地评价 , 以及如何量化 很好地体现了其在教育评价中的重要性：教育部基 评价分类结果的一致性和准确性, 成为研究者关注 础教育质量监测(NAEQ) 中心开发的监测工具采用 的重点(Douglas Mislevy, 2010; 陈平, 李珍, 辛涛, 了 CRT; 美国的“力争上游”教改计划中强调采用新 高慧健, 2011)。 型标准和评价, 促使学生在大学或工作岗位上取得 分类一致性是指两次平行测验中被试观察分 成功, 在全球范围内具备更好的人才竞争力 ; 美国 类相同的概率 , 主要反映测验信度; 分类准确性是 前教育部长阿恩·邓肯(Arne Duncan) 曾表示“一旦 指被试观察与真实分类相同的概率, 主要反映测验 建立和采用新标准, 就需要创建新测试, 测量学生 效度(Lee, Brennan, Wan, 2009; 陈平等, 2011)。分 是否满足这些标准” (Duncan, 2009) 。CRT 已经广泛 类一致性和准确性指标的发展趋势为：从平行测验 应用于水平和资格考试等 , 如国际学生评估项目 过渡到单个测验指标估计 ; 从经典测验理论 (CTT) (PISA) 、国际阅读素养进步研究项目(PIRLS)、国际 过渡到项目反应理论 (IRT)下指标估计。本文关注 数学和科学成就趋势研究(TIMSS) 、美国教育进步 IRT 下单个测验指标估计, 这是该领域的研究热点