CTT与IRT参数不变性比较实证研究综述.docVIP

CTT与IRT参数不变性比较实证研究综述 　　摘要：关于经典测验理论(Classical Test Theory，CTT)和项目反应理论(Item Response Theory，IRT)的参数不变性的比较多见诸于理论阐述，即认为IRT具有参数不变性，而CTT不具备参数不变性，但这方面的实证研究却很少。回顾已有关于CTT与IRT参数不变性比较的国内外实证研究，梳理并归纳了已有研究的数据、方法和结论，总结了已有研究的特点，使读者对CTT和IRT的参数不变性有新的审视。现有研究中存在一些不足，后续研究任重道远，值得期待。 　　关键词：项目反应理论；经典测验理论；参数不变性；实证研究 　　中图分类号：B841.2文献标识码：A文章编号：1001―4608(2008)02―0093―06收稿日期：2007―11―20 　　作者简介：汪存友，南京师范大学教育科学学院博士生；余嘉元，南京师范大学教育科学学院教授。博士生导师210097 　　 　　一、问题的提出 　　 　　经典测验理论(Classical Test Theory，CTY)和项目反应理论(Item Response Theory，IRT)是现阶段心理测量领域内两种主要的测量理论。IRT是在弥补CTY不足的基础上发展而来的，具有诸多后者不能比拟的优点。尤其是，IRT克服了CTT能力参数和项目参数循环依赖这一不足，在测量界享有“参数不变性”的美誉，即：IRT的项目参数不依赖于考生样本的能力分布、考生能力参数也不依赖于项目的参数特性。随着题库建设、计算机化自适应性测验等新型考试项目的逐步推广，IRT参数不变性的优点得到充分体现，逐渐成为大型标准化考试的理论基石。 　　从理论角度描述并论证IRT具有参数不变性而CTT不具有之的文献非常多，然而，关于CTI与IRT参数不变性比较的实证研究却相当少。笔者以“Classical Test Theory”、“Item Response Theory”为关键词检索了“Applied Psycho10gical Measurement”、“Educational and Psychological Measurement”、“Joumal of Educational Measurement”、“Educational Measurement：Issues and Pracrice”、“Applied Measurement in Education”等国外主要的测量学刊物，同时以“经典测验理论”、“项目反应理论”为关键词检索了中国期刊网数据库，再从所得结果中挑选出与参数不变性主题相关的实证研究文献，同时关注所得文献的二次引文情况，最后得到国外文献仅10余篇，且未发现国内文献。这就给人一种假象：IRT具有参数不变性似乎是不证自明的公理，没有必要进行实证研究!但是，任何一种理论都必须在实践中验证后才能下定论。有意思的是，笔者所检索到的这些实证报告中，许多研究结论并不支持IRT的参数不变性，有的反而认为CTT比IRT更具有参数不变性。CTT难道也具有参数不变性吗?IRT的参数不变性在实际中并不成立吗?理论与实践为什么有如此大的差异? 　　鉴于存在上述问题，本文回顾了已有关于CTT与IRT参数不变性比较的国外实证研究，梳理并归纳了各项研究的数据、方法和结论，总结了已有研究的特点，使读者对CTT和IRT的参数不变性有新的审视。同时，本文还分析了现有研究中存在的不足，并提出了后续研究的建议，希望有更多的同行能够从实证的角度对参数不变性进行考察，以期更好地指导测量实践。 　　 　　二、什么是参数不变性 　　 　　CTT能力参数与项目参数间的循环依赖性很早就引起了一些学者的注意，即：CTY的能力参数(观察分数)受试题难度的影响(整体偏难或偏易时，观察分数会偏低或偏高)、而试题参数又受到考生能力分布的影响(整体偏强或偏弱时，试题会偏易或偏难)。虽然理论上CTT不具备参数不变性，但实际应用中测量学家仍然在CTT框架下尝试寻找解决的办法，例如，百分比等值法、塞斯通绝对量表法(Thutone Absolute Scal一ing)。 　　随着IRT的诞生，参数不变性得到更广泛的关注。Rudner(1982)认为，IRT的参数不变性本质上是考生在项目上的答对概率关于的回归方程不变，也即项目特征曲线(Item CharacteristicCurve，ICC)形状不变，但能力或项目的参数值还是会改变。因为在IRT中，参数的原点和单位是任意的，只有通过线性变换将它们转换到同一量尺(scale)上才具有不变性。Hambleton(1993)通过ICC来解释“IRT具有项目参数不变性而CTF不具有不变性”：假设组1的考生能力呈正态分布，组2的考生能力