兼顾非统计约束的双目标CD-OMST组卷方法的研究.pdfVIP

摘 要 作为一种兼具计算机化自适应测验（CAT ）和计算机多阶段自适应测验（MST ） 优点的测验形式，在线组卷的计算机多阶段自适应测验（OMST ）不仅可以根据 被试能力和非统计约束需要进行即时组卷，还允许被试在模块内回顾、修改作答。 OMST 降低了被试的测验焦虑，从而使收集到的数据更为真实合理，并使参数估 计结果更符合被试的真实水平。在教育和心理测量领域，能同时提供被试宏观能 力和微观认知状态的认知诊断自适应测验（即双目标CD-CAT ）越来越受到学者 们的青睐。 考虑到双目标测验对被试测量的全面性和 OMST 测验的上述优点，本文将 双目标的测验目的运用于兼顾非统计约束的CD-OMST 中，开发了一种兼顾非统 计约束的双目标CD-OMST 测验形式。然而，已有的组卷方法并不适用于兼顾非 统计约束的双目标CD-OMST，且大部分方法存在非统计约束情境适用性不足的 问题。鉴于此，本研究开发了5 种兼顾非统计约束的双目标CD-OMST 组卷方法： Dual-MPI、Dual-OP、Dual-RMPI、Dual-WDM 以及Dual-ORMPI-BC 。其中，前 四种方法的开发思路是基于已有的组卷方法，通过优化统计约束部分获得；而 Dual-ORMPI-BC 方法的开发思路则是基于已有的组卷方法，通过同时优化非统 计约束和统计约束两部分获得。为验证新方法在双目标的CD-OMST 测验中的可 行性及探讨非统计约束的适用情境，本研究在两种不同的非统计约束情境下，采 用了Monte Carlo 模拟研究方法进行研究，研究还进一步探讨了测验的长度以及 测验的阶段数对新方法性能的影响。模拟研究结果表明： （1）从双目标CD-OMST 的测量精度来看，在仅有下限的非统计约束情境 中，Dual-ORMPI-BC 和Dual-RMPI 两种方法的测量精度最高，Dual-WDM 方法 次之，Dual-MPI 方法最差；在上下限皆有的非统计约束情境中，Dual-ORMPI-BC 和Dual-WDM 方法测量精度最高，Dual-OP 方法表现较差。 （2 ）从题库的安全性来看，在仅有下限的非统计约束情境中，Dual-MPI 方 I 法的表现最好，Dual-ORMPI-BC 方法次之，Dual-WDM 方法最差；在上下限皆 有的非统计约束情境中，Dual-OP 方法的表现最好，Dual-ORMPI-BC 方法次之， Dual-WDM 方法最差。 （3 ）从非统计约束条件的违背情况来看，在仅有下限的非统计约束情境中， Dual-ORMPI-BC 方法的违背率和违背数量远低于其他组卷方法，表现最好， Dual-RMPI 方法的表现次之，Dual-WDM 方法的表现最差；而在上下限皆有的非 统计约束情境中，Dual-ORMPI-BC 方法的表现仍旧最好，Dual-OP 方法次之， Dual-WDM 方法的表现仍然是最差的。 综上所述，虽然每种方法在不同评价标准下有各自的优势，但综合来看， Dual-ORMPI-BC 组卷方法是一种在测验精度、题库安全性、非统计约束条件的 违背情况等方面都是表现最佳的，且该方法克服了原有方法在非统计约束情境上 适用性不足的问题。 关键词：在线组卷的计算机多阶段自适应测验（OMST ）；双目标 CD-CAT ；非 统计约束组卷方法；测量精度；题库安全性 II Abstract As a test form with the advantages of both computerized adaptive test (CAT) and computer multi-stage adaptive test (MST), the on-the-fly assembled multistage adaptive testing (OMST) can not only construct the module instantaneously according to the examinees ability and the demand of the non-statistical