高中英语阅读测验中题组模型的选择与应用-心理科学.PDF

1374 心理科学 Journal of Psychological Science 2018，41（6）：1374-1381 心 理 科 学 高中英语阅读测验中题组模型的选择与应用* 1 **1, 2 马 洁 刘红云 1 （北京师范大学心理学部，北京，100875） 2 （北京师范大学心理学部应用实验心理北京市重点实验室，北京，100875） 摘 要 本研究通过高中英语阅读测验实测数据，对比分析双参数逻辑斯蒂克模型 （2PL-IRT）和加入不同数量题组的双参数逻辑 斯蒂克模型 （2PL-TRT），探究题组数量对参数估计及模型拟合的影响。结果表明：1.2PL-IRT 模型对能力介于 -1.50 到 0.50 的被 试，能力参数估计偏差较大；2. 将题组效应大于 0.50 的题组作为局部独立题目纳入模型，会导致部分题目区分度参数的低估和大 部分题目难度参数的高估；3. 题组效应越大，将其当作局部独立题目纳入模型估计项目参数的偏差越大。 关键词 项目反应理论 题组反应理论 题组模型 模型选择 如果不同考生对题组背景的了解程度不同，考生对 1 引言 题组内项目的反应必然会产生较高的相关，这违反 在教育测验中，题组（testlet ）是指一组相互联 了传统项目反应理论关于局部独立的假设 （Koziol, 系或相互制约的项目集（Wainer Kiely, 1987 ）。 2016 ；Wang, Bradlow, Wainer, 2002 ）。存在题组 例 如 在 美 国 研 究 生 入 学 考 试（graduate record 效应时，使用传统项目反应模型会导致参数估计误 examination, GRE ）的阅读测验中，同一篇阅读材料 差变大以及测验信度的高估。为解决这些问题，有 下的几个单选题，或美国大学入学考试（American 研究者将整个题组看成一个多级评分的超级项目， College Test, ACT ）测验中同一个图或表下的几个题 但这种方法不能完全利用被试在每个项目的答题 目，都是题组。与传统基于单个题目的测验相比， 信息，还会低估测验信度（Wainer, Bradlow, Du, 题组测验（testlets-composed test ）有如下优势：首先， 2000 ）。 受试者可以阅读更少的材料，因此题组可以缩短测 为解决以上问题，Gibbons 和 Hedeker 提出将两 验时间（Bradlow, Wainer, Wang, 1999 ）；其次， 因子模型用于存在局部依赖的题目中，用总体因子 在控制内容均衡的前提下，题组能够提高计算机自 代表潜在能力因子，用组因子代表每个题组的题组 适应测验（computer adaptive test ）的效率；第三， 特质因子（刘玥，刘红云，2014 ）。在两因子模型中， 题组测验提供了一种可以测量复杂思考技能的方法 由 n 个题目组成的测验有 S 个因素，其中有 1