认知诊断CAT中项目曝光控制方法的比较.pdfVIP

心理学报 2013, Vol. 45, No.6, 694−703 Acta Psychologica Sinica DOI: 10.3724/SP.J.1041.2013.00694 CAT 1,2 2 (1 四川师范大学教育科学学院, 成都 610066) (2 北京师范大学发展心理研究所, 北京 100875) 项目曝光率关系到题库建设和测验安全 , 是计算机化自适应测验 (Computerized Adaptive Testing, CAT)需要考虑的重要问题。在认知诊断 CAT 情形下 , 首先基于传统 CAT 中 a-分层方法的思想提出按项目 信息量对题库分层的分层多阶段 (Stratified Multistage, SM)选题方法 ; 然后将 SM 方法与项目合格 (Item Eligibility , IE)方法相结合得到 SMIE 方法。在此基础上, 开展模拟研究比较 SM、IE 、SMIE、最大修正优先 指标 (Maximum Modified Priority Index , MMPI)方法、限制阈值(Restrictive Threshold , RT)方法和限制进度 (Restrictive Progressive , RPG)方法的选题表现。总体上, 它们的测量精度从高到低依次为 IE 、SM、SMIE、 RT 、RPG 和 MMPI 方法 ; 项目曝光分布均匀性的优劣次序为 MMPI 、RPG 、SMIE、RT 、SM 和 IE 方法 ; SMIE 和 RT 方法能较好地平衡测量精度和项目曝光均匀性要求。 认知诊断计算机化自适应测验 ; 选题方法 ; 测量精度 ; 项目曝光率 B841 1 引言 库不仅要包含大量质量合格的项目, 而且随着时间 的推移, 题库中的一些项目会因为存在缺陷、过时 计算机化自适应测验 (Computerized Adaptive 或过度曝光等原因需要用新题去替换或进行增补 Testing, CAT)根据被试潜特质水平自适应地选择测 (陈平, 2011; 唐小娟, 丁树良, 俞宗火 , 2012)。如果 验项目能极大地提高测量精度。特别地, 认知诊断 项目曝光率低表明项目没有得到充分利用。当大部 计 算 机 化 自 适 应 测 验 (Cognitive Diagnostic 分项目都曝光过低甚至没有使用时, 将极大地浪费 Computerized Adaptive Testing, CD-CAT) 以认知诊 题库建设中花费的人力和财力。由此可见, 降低过 断理论为基础, 通过被试作答较少项目反馈其掌握 度曝光项目的使用率和提高曝光不足项目的使用 了哪些知识没有掌握哪些知识, 从而能为教师、家 率对 CD-CAT 具有重要意义。一般地, 测量精度和 长和学生提供丰富的教学指导信息。同传统 CAT 项目曝光控制往往相互制约。因此, 好的选题策略 一样, 它包括题库、初始项目的选择、选题策略、 应平衡测量精度和项目曝光均匀性要求。 特质估计方法和测验终止规则五个基本组成部分。 到目前为止, 传统 CAT 中至少有以下 5 类项目 其中 , 选题策略直接影响项目调用均匀性 , 关系到 曝 光 控 制 方 法 (Georgiadou, Triantafillou, 测验安全和题库建设。一方面, 曝光率越大, 项目 Economides, 2007) ：(1)随机化方法, 例如随机程序 使用的次数越多。于是, 考生之间越可能分享