多维题组效应认知诊断模型 - 心理学报.pdf

心理学报 2015, Vol. 47, No.5, 6891 Acta Psychologica Sinica DOI: 10.3724/SP.J.1041.2015.00689 多维题组效应认知诊断模型 1,2 3 3 2 1 詹沛达 李晓敏 王文中 边玉芳 王立君 (1 浙江师范大学心理系, 金华 321004) (2 北京师范大学认知神经科学与学习国家重点实验室, 北京 100875) (3 香港教育学院评估研究中心, 香港) 摘 要 当前认知诊断领域还缺少对包含题组的测验进行诊断分析的研究, 即已开发的认知诊断模型无法 合理有效地处理含有题组效应的测验数据 , 且已开发的题组反应模型也不具有对被试知识结构或认知过程 进行诊断的功能。针对该问题, 本文尝试性地将多维题组效应向量参数引入线性 Logistic 模型中 , 同时开发 了属性间具有补偿作用的和属性间具有非补偿作用的多维题组效应认知诊断模型。模拟研究结果显示新模 型合理有效, 与线性 Logistic 模型和 DINA 模型对比研究后表明：(1)作答数据含有题组效应时 , 忽略题组效 应会导致项目参数的偏差估计并降低对目标属性的判准率 ; (2)新模型更具普适性 , 即便当作答数据不存在 题组效应时 , 采用新模型进行测验分析亦能得到很好的项目参数估计结果且不影响对目标属性的判准率。整 体来看, 新模型既具有认知诊断功能又可有效处理题组效应。 关键词 认知诊断 ; 题组 ; 项目反应理论 ; 多维题组效应; Logistic 题组框架 ; DINA 分类号 B841 1 引言 2014) 。目前, 如 TOEFL 、GRE 、PISA 、PIRLS 等 大型测验均涉及了大量的题组, 对题组进行研究的 认知诊断评估(cognitive diagnostic assessment, 必要性日显重要。当测验存在题组时, 由于嵌在题 CDA)不仅有助于人们更深入地了解隐藏在学生总 组内的项目共用相同的题组刺激, 这时题组项目反 分背后的认知结构、加工技能和认知过程之间的差 应间就存在一定的相依性, 即相依于题组效应。为 异, 还能提供该学生的认知诊断报告和补救性教学 了合理有效地处理题组效应, 研究者们也开发出了 建议, 对学生个体的发展起到了积极的促进作用。 一系列题组反应模型(testlet response models, TRM), 要对学生的内部心理加工过程进行测量、诊断和评 如：Rasch 题组模型(Wang Wilson, 2005)、广义 估就需要认知诊断模型(cognitive diagnostic models, 题组模型 (Li, Bolt, Fu, 2006) 、高阶题组模型 CDM) 。常见的 CDM 有 DINA 模型(Haertel, 1989; (Huang Wang, 2013)等。 Junker Sijtsma, 2001)、DINO 模型(Templin Henson, Rupp 和 Templin (2007) 曾指出当前认知诊断领 2006) 、LCDM (Henson, Templin, Willse, 2009)等。 域还缺少对包含题组的测验进行诊断分析的研究。 与此同时, 在实际心理或教育测验中也经常出 可以说, 目前CDM 和 TRM 仍处于相互独立的开发