计算机适应性测验条件下认知设计项目预测参数影响.pdfVIP

心理学报 2010, Vol. 42, No.7, 802−812 Acta Psychologica Sinica DOI: 10.3724/SP.J.1041.2010.00802 * (华东师范大学课程与教学研究所, 上海 200062) 自动化项目生成(Automatic Item Generation) 中的项目参数是基于认知项目设计的刺激特征集预测 的, 在不确定性来源上较之用经验数据标定的参数更为复杂。文章通过实证研究分析了在计算机适应性测验 条件下基于认知设计系统法生成的抽象推理测验(ART)项目预测参数对能力参数估计的精确性。研究表明 , 项目预测参数比相应标定参数分布更为趋中。这种回归效应既影响到能力参数估计误差大小, 也导致适应性 测验过程中项目选择的差异。在控制了项目选择差异之后, 能力参数估计误差较之基于项目标定参数的能力 估计误差大 , 但差别并不明显。两者相应的能力估计值相关很高 , 对应能力值之间的差异很小 , 且几乎贯彻 整个能力分布区间。 自动化项目生成; 认知设计系统法 ; 抽象推理测验 ; 计算机适应性测验 ; 预测参数 B841 1 引言 系统性以及与认知研究的整合程度而受到越来越 多的研究者的关注。 即 时 测 验 项 目 生 成(on-line item generation), 1.1 测验项目的认知设计系统法 亦称自动化项目生成 (automatic item generation), 长期以来 , 测验项目设计被认为是一种艺术 , 是当前测验项目设计研究的前沿领域 (Embretson, 而不是一种科学。在传统项目设计模式中, 对测验 1999; Embretson Yang, 2007)。利用即时项目生成 所测量的建构的界定充其量是对某个(心理)特质或 技术, 在测验进行的过程中可以当场生成具有特定 者技能的概括性描述, 在指导具体测验项目的设计 测量学特征的测验项目, 从而优化对个体能力的参 和开发上具有明显的局限性(Gorin, 2006) 。测验项 数估计。由于即时生成的测验项目尚未经过试测 , 目与测量建构的对应主要取决于项目编写者的专 项目参数无法通过实际数据进行估计。在即时项目 业素质和经验判断。项目质量主要依赖于诸如项目 生成中, 项目参数是借助于预先标定(calibrated) 的 难度和鉴别力等统计指标。一般来讲, 项目设计者 一系列项目刺激特征( item stimulus feature)与项目 通常是领域专家, 通晓的更多的是测验题目所涉及 参数的关系进行预测的。目前 , 项目生成研究存在 的内容, 缺乏相应的心理学理论的基础来理解测验 许多不同的理论取向。这些不同理论在项目生成的 题目所测量的建构, 也缺乏相应的研究技能来验证 基本原则和方法上各有不同, 在刺激特征的选择和 测验题目的效度(Embretson, 1985) 。 确定上也有所不同(Bejar, 1990; Singley Bennett, 与传统项目设计不同, 认知设计系统法将认知 2002; Embretson, 1994, 1998) 。 其 中, Embreston 心理学的原理、方法和研究结果整合到测验项目的 (1998) 所 提 出 的 测 验 项 目 的 认 知 设 计 系 统 法 设计过程中(Embretson, 1998) 。认知设计系统法要 (co