基于属性掌握概率的认知诊断计算机化自适应测验选题-心理学报.PDFVIP

《心理学报》审稿意见与作者回应 题目：基于属性掌握概率的认知诊断计算机化自适应测验选题策略 作者：罗照盛 喻晓锋 高椿雷 王睿 李喻骏 彭亚风 王钰彤 第一轮 审稿人 1 意见：《基于属性掌握概率的认知诊断计算机化自适应测验选题策略》提出在 CD-CAT 选题策略中使用属性掌握概率代替属性掌握模式估计值，并且提出了六种可行的 选题方法，有一定创新。以下问题请作者参考。 意见1：在本文的引用文献中，辛涛，刘拓（2013 ）总结了以提高测量精确性、控制题目曝 光率、平衡测验内容为目的的三大类 CD-CAT 选题策略。在本研究的模拟研究中作为参照 的传统选题策略KL，SHE，PWKL 和 HKL 都属于以提高测量精确性为目标的选题策略。 研究者所提出的六种选题策略是否也是以提高测量精确性为目标呢？希望作者能够在文章 明确表示。 回应：在本研究中，提出了几种基于属性掌握概率的选题策略，作为新提出的选题策略，首 要的是研究它们的测量精确性，在此基础上，进一步研究其在题目曝光率和题库使用均匀性 等方面。正是基于此，本文对基于属性掌握概率的选题策略在测量精确性、题目曝光率、题 库使用均匀性等方面都进行了研究，并且与常用的几种策略进行了比较。本研究提出的选题 策略希望能综合考虑精确性，题库使用均匀性等方面的因素，使选题策略具有实用性。我们 补充了对研究新策略的目的的相关说明。 意见2 ：作者采用了几个题库使用均匀性的指标来比较不同的选题策略。如果选题策略主要 是为了提高知识状态估计准确性，那么题库使用均匀性仅仅是一个副产品。请作者对题库使 用均匀性的比较进行解释和说明。 回应：新选题策略的测量精确性是一个非常重要的方面。在实际的测验开发中，题库的使用 均匀性也很重要，我们对此增加了解释和说明。 意见3 ：虽然二者的计算方法不一样，后验概率与属性掌握概率有很多信息是重叠的。希望 作者对这方面有所解释。 回应：感谢专家细致的审稿。基于属性掌握概率的选题策略的基本过程是：(i)先随机生成被 试的属性掌握模式；（ii ）然后用选定的选题策略选取项目供被试作答；（iii ）基于被试的属 性掌握模式(随机生成或估计值) 、作答计算被试属于每种属性掌握模式的后验概率、被试在 每个属性上的掌握概率（记为P 1）；(iv ）基于当前的属性掌握模式估计值和已作答过的项目， 从剩余题库中选择一个项目供被试作答，计算被试对每个属性的掌握概率 （记为P2 ）；（v ） 按照预定的准则决定选择下一个项目，比如P1 和P2 之间的差值最大 （即最大属性掌握概 率变化法）等。后验概率体现的是基于已经作答项目的条件下被试属于每种属性掌握模式的 可能性，而属性掌握概率一方面体现了被试基于已经作答项目的条件下被试对每个属性掌握 的可能性(P1)、另一方面它也体现了被试基于已作答项目和下一个可能项目的条件下对每个 属性掌握的可能性(P2)。因此，虽然后验概率与属性掌握概率之间有很多信息是重叠的，但 是考虑了属性掌握概率的选题策略会更精细的体现出不同项目对于被试的影响。 意见4 ：在摘要中，作者提出“模拟实验结果表明，基于属性掌握概率的选题策略有很好的 分类准确率，在题目曝光率，题库使用均匀性等方面也有很好的表现”，似乎有些夸大。因 为根据表1 和表2 的结果，本研究提出的六种新方法似乎只有PPWKL 有比较满意的表现。 作者在文中并没有对此进行讨论。 回应：我们的表述不够严密和准确，对这部分的内容进行修改，以使表达更准确。 意见5 ：从表1 的结果看即使PPWKL 的表现看似略优于PWKL 和HKL，但PPWKL 的优 势并不明显：PPWKL 的模式判准率略低于PWKL 和HKL，最大曝光率这个副产品仅仅从 0.97 左右降到了0.938，未使用项目数减少了不到2%，这些微小的差异是否有重要价值值 得探讨。表2 也有类似的情况，PPWKL 似乎有一些微弱的优势。 回应：如果单从判准率上看，PPWKL 的优势似乎并不明显。本研究中提出的选题策略希望 基于实际应用的视角，即要有较高的判准率、在题库的使用均匀性等也综合考虑。我们增加 了相关的讨论。 意见6 ：模拟研究二进一步为PPWKL 的“优势”提供了证据，但似乎有些牵强。首先，当测 验长度小于6 时，各个选题策略的模式判准率都低于0.5，在这种情况下比较谁的模式判准 率孰高孰低似乎没有太大的实际意义。本文也引用了Chun Wang 2013 年的文章，建议作者 参考一下Wang(2013) 文中