测验相对拟合检验方法CVLL法在认知诊断中的拓展及应用-心理科学.PDFVIP

478 心理科学 Journal of Psychological Science 2017，40（2）：478-484 心 理 科 学 测验相对拟合检验方法CVLL法在 认知诊断中的拓展及应用* 单昕彤 1,2 涂冬波 **1 蔡 艳 1 1 2 （江西师范大学心理学院 , 南昌 , 330022)（ 中国基础教育质量监测协同创新中心 , 北京 , 100875） 摘 要 本文将 IRT 中表现较好的 CVLL 法引入到认知诊断领域，同时比较并分析 CVLL 及认知诊断领域已有的测验相对拟合检验 统计量的表现，为实际工作者在认知诊断模型选用上提供方法学支持和借鉴。结果表明：CVLL 的表现比其它传统测验相对拟合统 计量要好；且当对 Q 矩阵进行误设时，该统计量也能选择较优的 Q 矩阵，说明 CVLL 在 Q 矩阵侦查上有较好的应用前景。 关键词 认知诊断理论 模型 - 资料拟合检验 相对拟合 CVLL 1 引言 选模型是非嵌套模型的情况，且只研究了 -2LL、 认 知 诊 断 评 估 (cognitive diagnosis assessment, AIC、BIC ，而这些统计量有时会出现拟合结果不 CDA) 不仅能够提供一个整体的测验分数，还能够 一 致 的 情 况。de la Torre 和 Douglas (2008) 在 比 较 提供有用的诊断信息，从而帮助学生有目的改进其 DINA、多策略 DINA 和 NIDA 模型时，使用了 -2LL、 在某一领域中的不足 ( 如未掌握分数减法中通分 ) AIC、BIC、BF (Bayes factor, 贝叶斯因子 ) 和 DIC4 ( McGlohen, 2004)。要实现认知诊断评估，需借助 (deviance information criterion; Celeux, Forbes, Robert, 一定的心理测量模型，即认知诊断模型 (cognitive Titterington, 2006) 统计量，但并没有系统的比较 diagnosis model, CDM) ( 涂冬波，蔡艳，丁树良， 这些统计量的灵敏度和有效性，只在理论上阐述了 2012)。从 CDMs 获得推断的有效性，依赖于所选模 DIC4 在 MCMC 估计时应较 AIC、BIC 更好，但是 型是否拟合实际的数据 (Chen, de la Torre, Zhang, DIC4 计算复杂，为其广泛应用增加了难度。 2013) ，这就需要进行模型- 资料拟合检验 (model-data 根据前文的阐述，AIC、BIC 等统计量存在一 fit test) 。 定不足，且尚不清楚在认知诊断模型－资料测验相 实际工作中，测验相对拟合检验可以帮助实践 对拟合检验中哪个统计量表现最好，因此亟待为 者从已有模型中选择一个相对拟合最佳的模型，从 CDMs 开发新的更好的测验相对拟合检验统计量。 而保证数据分析结果的合理性与科学性。因此，测 CVLL 在 IRT 中表现较 AIC、BIC、DIC 更精确。其 验相对拟合检验对实际应用 CDMs 非常重要。目前， 利用交叉验证思想，将原始数据随机分成两部分， Chen 等 人 (2013) 比 较 了 -2LL (-2 log-likelihood)、 分别用于参数估计和拟合检验，避免了因用同一批 AIC