自适应分组认知诊断测验设计及其选题策略-心理科学.PDFVIP

720 心理科学 Journal of Psychological Science 2018，41（3）：720-726 心 理 科 学 ·统计、测量与方法· * 自适应分组认知诊断测验设计及其选题策略 罗 芬 王晓庆 丁树良 ** 熊建华 （江西师范大学计算机信息工程学院 , 南昌 , 330022） 摘 要 应用在线多阶段自适应测验的组卷思想，提出自适应分组认知诊断测验 (CD-AMGT)。首先，依据可达阵在认知诊断测验 编制中的重要作用，CD-AMGT 首个分组中的项目根据可达阵的每列 ( 对应题目类型 ) 进行挑选；其次，基于知识状态之间的先决 关系构造对应知识结构的格，每完成一组项目，利用知识状态当前估计值在格中的上下确界所界定的范围挑选后续分组中的项目； 最后，针对剩余题库中单个题目类型对应多个项目的情况，根据最大后验加权的 Kullback-Leibler 信息量 (PWKL) 或最小香农熵 (SHE) 在这多个项目中进行选择。模拟实验表明，对比基于 PWKL 或 SHE 的 CD-CAT，当题库中题目类型较丰富时，CD-AMGT 以分类 准确率略微降低为代价，其题库使用均匀性和计算用时均表现出较大优势。 关键词 自适应分组测验 选题策略 题库安全 测验用时 1 引言 和 MST 优势互补，提出了在线组卷多阶段自适应 计 算 机 化 自 适 应 测 验 (computerized adaptive 测 验 (on-the-fly assembled multistage adaptive testing, testing, CAT) 和传统测验相比，达到相同测量精度 OMST) ，即只需预置第一阶段模块，后续阶段模块 时，测验长度可节省 30% 到 50% (Wainer Eignor, 则由模块构造算法根据被试当前能力估计值自动生 2000) ，但 CAT 存在项目曝光率过高致测验分数不 成和装配，测验阶段数由测量精度决定。为避免与 可靠 (Carlson, 2000)、不允许考生漏题和答题后修改 MST 中的模块概念混淆，以下称OMST 模块为分组， 等不足 (Hendrickson, 2007) ，这些不足既与选题策略 OMST 的后续分组不是测试前预置，而是自适应动 有关 (Chang Ying, 1999) ，又与 CAT 只允许完全序 态构造，因此 OMST 每阶段仅需包含一个分组，从 贯 ( 逐个选题 ) 的测验形式有关。因此研究者寻求 而避免了 MST 测验前复杂的准备工作。 新的选题策略及测验形式以解决上述问题。 具有认知诊断功能的 CAT (cognitive diagnostic 近年来，美国注册会计师考试和研究生入学考 CAT, CD-CAT) 可为被试提供快速准确的个性化报 试由纸笔测验或 CAT 转向多阶段测验 (multistage 告。CD-CAT 的研究热点也是寻求新的选题策略和 testing ，MST; Breithaupt Hare, 2007)。MST 将测验 新的测验形式。制定测验形式和选题策略时要综合 分为若干个阶段，每阶段包含多个不同难度水平的 考虑分类准确性、测验效率、测验安全及快速反 模块 ( 即一组项目集合 ) ，被试测验过程是依据路由 馈等因素。CD-CAT 常用选题策略有基于 Kullback- 规则在每阶段自适应选取一个模块，即提供给被试 Leibler 信息量方法 (KL, He