认知诊断计算机自适应测验中选题策略的新进展.pdfVIP

南京师大学报(社会科学版)／Nov2013／No6 认知诊断研究 认知诊断计算机 自适应测验中选题策略的新进展 辛 涛 刘 拓 [摘 要] 本文主要从提高测量精确性、控制题 目曝光率、平衡测验内容三个方面总结了认知诊 断计算机 自适应测验的选题策略。文章首先简单回顾以往提出的选题策略，分析这些选题策略的不 足，再分别介绍了三种改进方法。它们分别是毛秀珍提 出的改善 PWKL方法精确性的平均PWKL方 法，陈平提 出的控制曝光率方法，崇伟峰提 出的通过后验概率到0．5的距离来平衡属性测量程度的方 法。将三种方法与以往的选题策略比较，结果均显示三种新的选题策略效果更好。最后，作者探讨了 认知诊断计算机 自适应测验的选题策略中这三方面的平衡问题，以及选题策略以后的发展方向。 [关键词] 认知诊断计算机 自适应测验 ；选题策略；曝光率；测验 内容平衡 一 、 引言 心理学和教育学研究的不断深入和细化 ，对心理和教育测量也提出了新的要求。一方面，传统 的项 目反应理论 (ItemResponseTheory，IRT)提供的关于被试心理特质或能力水平 (0)信息已经无法 满足测验使用者的需求，他们希望更进一步的了解被试的认知状态 (属性掌握模式)信息，获得更全 面的诊断信息，从而帮助教学与干预，由此发展 出了认知诊断理论 (CognitiveDiagnosticTheory， CDT)。另一方面，传统的纸笔测验在大规模测验中费时费力，而人们希望测验时间更短 ，并且测验 的精确性更高，由此发展出了计算机 自适应测验 (ComputerizedAdaptiveTesting，CAT)。CDT与CAT 的结合则形成了认知诊断计算机 自适应测验(CognitiveDiangosticComputerizedAdaptiveTesting，CD— CAT)，它可 以提供关于被试的能力水平信息和属性诊断信息，同时也可以提高测验的效率和准确性 (McGlohenChang，2008；辛涛，乐美玲 ，张佳慧，2012)。 与传统的CAT一样要实现 CD—CAT的简短与高效 ，关键的环节就在于选题策略。无论是传统 的CAT，还是 CD—CAT选题策略都可以分为两大类，一类是提高测量精确性的选题策略，另一类是 非统计约束类的选题策略(ChengChang，2009；Deng，Ansley，Chang，2010；vanderLinden，2000；毛 辛涛，教育部基础教育质量监测 中心副主任 ，北京师范大学心理学院教授、博士生导师；刘拓，北京师范大学心理学院 博士生，100875。本文为国家 自然科学基金项 目阶段性研究成果。 081 秀珍 ，辛涛 ，201la)。非统计约束类的选题策略 属性掌握模式而不是其他属性掌握模式。KL信 又主要包括控制题 目曝光的指标和平衡测验内 息量越大时，则说 明越能有力证明被试的认知 容的指标。下文将从这两个类别三个方面出发 状态属于估计出的属性掌握模式。在CD—CAT 分别介绍国内外已有的CD—CAT选题策略以 中使用 KL信息量进行选题和估计时，实际上存 及我们在此基础上进行的发展。 在着一个假设 ，即每一个被试在每一步 CD— CAT的选题过程中，所有可能的属性掌握模式 被考虑为被试真实认知状态 的可能性是相 当 主要 CD—CAT选题策略 的。这实际上增加了选题 的负担，而在实际测 评中是存在先前的信息可以利用的，如一般认 在