心理学报审稿意见与作者回应题目认知诊断测验中的项目功能差异.PDFVIP

《心理学报》审稿意见与作者回应 题目：认知诊断测验中的项目功能差异检测方法比较 作者：王卓然 郭磊 边玉芳 第一轮 审稿人1 意见： 意见1：在P10 3.2.3 部分，作者考察了四种存在DIF 的实验条件，但为什么未考虑s 减少g 增加的情形？该条件是存在一致性DIF 另一种条件，本文对一致性DIF 的研究结果是否能 推广到该条件下呢？ 回应：谢谢专家提出的问题。在认知诊断情境下构造DIF，一般都是先生成对照组的题目参 数，再在对照组题目参数上经过一定的变化生成目标组的题目参数。在这种模式下可以构造 8 类DIF，分别是，s 增加，g 增加，s 增加g 增加，s 增加g 减小，s 减少，g 减少，s 减少 g 减少，s 减少g 增加。由于这些DIF 构造情景都是在相对于对照组改变目标组的题目参数， 所以当目标组和对照组位置对调后，后四类情景就跟对调前的前四类情景相同了。例如，s 增加即为目标组s 比对照组s 大DIF 量，也就是对照组s 比目标组s 小DIF 量，相当于基于 目标组对对照组做s 减少的变化。在模拟研究中，目标组和对照组的位置是对等的，特别是 在本研究中目标组和对照组的受测者数也相同，所以我们认为目标组和对照组是可以互换 的。因此，在本研究中，我们只讨论了s 增加，g 增加，s 增加g 增加，s 增加g 减小这四类 DIF 的构造方法，而没有讨论与之对应的另外四类DIF 构造方法。Zhang(2006)也是使用了 这四类DIF 的构造方法，相信他也是基于以上原因。根据专家的问题，在文章的3.2.3 部分， 我们新增了对于这种省略的说明。因此对于一致性DIF 的研究结果也可以推广到 s 减少 g 增加的条件下。 意见2 ：在P10 3.2.4 部分，作者做DIF 检测时，各方法的参数估计的数据是按参照组和对 照组两组分开估计，还是一起估计？如果参数估计是按参照组和对照组两组分开估计的话， 你是否进行了等值？如何等值的？ 回应：谢谢专家提出的问题。本研究中采用了3 种DIF 检测方法，其中MH 法和LR 法都是 把对照组和目标组的数据一起估计。而Wald 检验法对于目标组和对照组是分开估计的，并 且不需要等值。Wald 检验法的原理是，分别估计出目标组和对照组的两套题目参数，然后 检验这两组参数之间差异是否显著。 意见3 ：P10 3.2.4 部分，LR 法具体是如何操作的呢？如果是采用回归，作者是对原始数据 进行回归，还是基于匹配变量分层的结果进行回归？如果是前者，那么匹配变量对LR 法不 存在影响，也就不需要考虑匹配变量了；如果是后者，那么回归所使用的数据是如何获取的， 能具体解说一下吗？ 回应：谢谢专家提出的问题。LR 法是分两步进行的：第一步是计算得出匹配变量，第二步 是把匹配变量作为预测变量被试作答作为结果变量进行回归分析。使用LR 法时，匹配变量 是加入到回归方程中的变量，而在使用MH 法时，匹配变量被用来给受测者分层。在本研  究中匹配变量有总分，能力值 ，和知识状态KS 三种。总分通过加和受测者在每道题目 上的得分就可以得到，使用2PL 模型估计出能力值 ，使用RSM 、AHM 和DINA 模型三种 方法估计出知识状态KS 。 意见4 ：4.3LR 法对于一致性DIF 和非一致性DIF 检测的检验力和一类错误率，是结果的 重复表述。4.3 中部分结果表述与4.1 不一致。(从审稿专家在原文中做的批注中提炼) 回应：感谢专家提出的问题。由于MH 法和Wald 检验都不能区分一致性DIF 和非一致性 DIF，为了便于三种方法的比较，4.1 和4.2 展示的是三种方法目的是检测出DIF 时的表现。 为了展现出LR 法可以分别检测出一致性DIF 和非一致性DIF 的特性，在4.3 中单独对于 LR 法对于一致性DIF 和非一致性DIF 检测进行了展示。正是由于4.1 和4.2 关注的是检测 出DIF 的能力，而4.3 中关注的是LR 法对于一致性DIF 和非一致性DIF 的区分能力，4.1 、 4.2 和4.3 中部分规律才会有一定的差别。 审稿人2 意见： 意见1：本文通过修改logistic regression method (Swaminathan Rogers, 1990)来实现对CDA 中项目的DIF 侦查，想法很直接。审稿人认为，LR 法可适用于大多数IRMs (如作者所述的 “不基于模型的DIF 检测方法”