《心理学报》审稿意见与作者回应题目：多维题组效应认知诊断模型作者 .pdf

《心理学报》审稿意见与作者回应 题目：多维题组效应认知诊断模型 作者：詹沛达，李晓敏，王文中，边玉芳 *由于本文在审稿阶段有细节性修改，因此不同轮的修改意见以及回应内容中可能与最终正 文存在差异。 第一轮 审稿人1 意见：文章的选题具有一定的研究和应用意义，作者将LLM 模型中加入了题组效 应，将其拓广成可进行题组效应分析的认知诊断模型，在文中作者不仅研究了新模型的返真 性，也与不含有题组效应的模型进行了比较，从多方面验证新模型的有效性和可应用性。 但本人认为研究还存在以下的一些问题：1、 意见1：P7 中C-MTECDM 中每个项目包含K＊个项目参数，请补充说明K＊； 回应：感谢您的提醒，我们已在文中添加说明。由于原文中 K＊已经在对LLM 的描述时提 及到了，所以我们在修改稿中对C-MTECDM 的描述时又再次进行了强调。 意见2 ：P8 中‗而―对‗最新时尚‘的认知‖这一潜质即可被视为一个非目标潜质(题组效应)，显 然，平时更关注时尚的被试在作答该篇章阅读项目时将获得相对正收益。 ‘该说明更倾向于 将 DIF 效应当成是题组效应处理，与题组效应本身的定义不太一致。请作者注意题组效应 本身的从含义； 回应：感谢您的提醒，考虑到可能会有部分读者出现与您类似的疑问，在修改稿中已经添加 testlet-effect(TE)与DIF 的差异的讲解，且在原例子的基础上添加了个别修饰词。 TE 与DIF 的相同点在于，两者都是由于题目的设定而出现了对正确作答概率P 的影响。 所不同的是，(1)TE 是由题目成组所产生的，即任一被试在回答该组题目时均可能受到 TE 的影响，且该影响(增益)对该组题目是一致的，比如某被试对题组 m 内的 10 道题目的 logit(P1/P0)均增大γ ，所以TE 的参数角标m 是表示第m 个题目组；而DIF 是由单一题目 m 所产生的，其影响的是特定被试组，DIF 对正确作答概率P 的影响(增益)对该组被试是一致 的，比如第g 组被试在回答题目i 时的logit(P1/P0)均增大δ ，所以DIF 的参数角标g 是表 g 示第g 个被试组;(2)TE 一般认为是一种随机效应，即每个被试的γ 是不同的，而DIF 一般 m 认为是一种固定效应，即同一组内被试的δ 是一样的。 g 意见3 ：P10 ，表1 中U 矩阵的表述有混淆U 矩阵和Gamma 矩阵之嫌，请注意符号的统一， 应该是u1,u2,u3 ； 回应：答：感谢您的提醒，已修改。 意见4 ：P11 中设定了题组效应参数‗3 个题组效应方差 设定为 = = =0.5 。‘但如何生成相应 的Gamma 参数呢？另，参数估计时，文中并没有报告Gamma 参数的估计精度，其标准差 估计的好坏不能代替Gamma 参数的估计好坏。而Gamma 参数本身是一种被试参数，其值 的大小反应了被试多在程度上需要作用属性之外的东西进行作答，直接影响作答概率，所以 该参数的结果是需要报告的。 回应：感谢您的建议。首先，该问题涉及到TE 参数的操作定义或量化定义，即( 以往关于 TE 的所有研究均)设定TE 满足平均数为0，方差为σ2 的正态分布，且TE 的大小是由其方 差为σ2 的大小决定。原文已经在引言和模型建构部分多次提及TE 的量化定义。因此，在参 数生成部分直接给出了各TE 方差的大小。由于TE 的大小是由其方差的大小表示的，因此 仅需报告TE 的方差即可，这与以往所有关于TE 的研究一致。 其次，根据参数估计方法可知，通过了解其他参数的返真性即可推知单一γ 参数估计的 好坏。因此，在上千样本量的情况下，通常并不需要列出一巨大的表格去说明某潜质参数的 估计结果表格，而仅需列出一相对小的项目参数估计结果表格。亦可参见其他关于 MIRM 的研究。所以，我们并未采纳该意见。 意见5 ：作者文中使用的Bias 指标，但本人认为该指标可能不太适用，因为该指标反应的是 某一参数在多次实验下的平均偏差，由于偏差具有符号，并不能很好的反映参数估计的返真 性。如果想