题目位置效应的概念及检测-心理学报.PDF

心理科学进展 2018, Vol. 26, No. 2, 368–380 Advances in Psychological Science DOI: 10.3724/SP.J.1042.2018.00368 题目位置效应的概念及检测* 1 1 2 3 聂旭刚 陈 平 张缨斌 何引红 (1 北京师范大学中国基础教育质量监测协同创新中心; 2 北京师范大学教育学部; 3 北京师范大学数学科学学院, 北京 100875) 摘 要 题目位置效应(Item Position Effect , IPE)是指在剔除随机误差的影响之后, 同一道题目在不同测验间 因题目位置的变化而导致题目参数的变化。IPE 的存在会严重威胁依赖于项目反应理论参数不变性特征的相 关应用, 比如测验等值和计算机化自适应测验。目前关于这一领域的研究主要集中于对IPE 的检测, 而对所检 测到的效应进行进一步的解释, 则是今后的研究重点。另外, 在不同的研究情境下深入探讨 IPE, 对于基础研 究领域和实践领域都具有重要意义。 关键词 题目位置效应; 参数不变性; 测验公平; 解释性项目反应理论; 多水平项目反应模型 分类号 B841 1 引言 位置的变化而导致题目参数的变化。由上述定义 并结合以往研究, 可以看出 IPE 会对依赖于项目 在 1984 年至 1986 年的美国教育进展评估项 反应理论(Item Response Theory , IRT)参数不变性 目(The National Assessment of Educational Progress, 1 (parameter invariance ) 特征的相关应用、测验公 NAEP) 中, 9 岁和 17 岁受测群体的阅读成绩出现 平性以及考生的作答心理等方面造成不利影响。 难以置信的异常下降, 这一事件引发一项为期 3 首先, 在心理与教育测量中, 参数不变性特 年的调查研究, 也即后来被大家所熟知的“1986 征是IRT 的最大优点(罗照盛, 2012)。IRT 正是由 年NAEP 阅读异常研究” (详见Beaton et al., 1988; 于具备这一特性, 才使得它在指导题库建设、计 Beaton Zwick, 1990) 。后续研究表明：导致这一 算机化自适应测验(Computerized Adaptive Testing, 现象的主要原因是NAEP 中题册间锚题位置与情 CAT) 中发挥着无法比拟的作用。同时, 参数不变 境的变化(Zwick, 1991) 。这一现象作为测量领域 性特征也是测验等值技术得以实现的前提条件; 的一个警钟, 提醒研究者们：题目位置和情境的 在多种等值设计中, 非等组锚测验设计(Kolen, 变化会对受测者