层级一致性指标的多级评分拓展.pdf

心理科学 Journal of Psychological Science 2018，41（1）：211-218 211 康春花等 :层级一致性指标的多级评分拓展 层级一致性指标的多级评分拓展* 1 1 2 **1 康春花 吴会云 孙小坚 曾平飞 1 2 （ 浙江师范大学教师教育学院 , 金华 , 321004）（ 北京师范大学中国基础教育质量监测协同创新中心，北京，100875） 摘 要 在认知诊断评估实践中，属性层级合理性的验证非常重要，而现有指标仅停留在 0-1 计分测验，无法适应考试形式和评分 方式多样化的实践需求。研究将 0-1 计分层级一致性指标（MHCI）拓展至多级计分的层级一致性指标（GHCI），模拟和实证研究 结果表明：（1）GHCI 具有和 MHCI 相同的本质含义，考虑了父项目和子项目得分的多种可能性，从而将 MHCI 纳入 GHCI 体系；（2） 在多级或混合计分情境，MHCI 会有信息损失，容易发生低估，且易受转换比例的影响；（3）GHCI 在模拟和实践情境均具较好的 适宜性，拟合截断值的设置可依属性层级而定。 关键词 认知诊断 层级一致性指标 多级计分 拓展的层级一致性指标 1 引言 现学生认知结构的优势与不足，为学生学业进步提 认 知 诊 断 评 估（cognitive diagnostic assessment, 供诊断信息。尽管研究者开发了一些适于多级评分 CDA ）为教师了解学生的认知结构和心理过程提供 的模型和方法（康春花 , 任平 , 曾平飞 , 2015; 李娟 , 了新思路和新方法。在 CDA 实践中，问题解决的 丁树良 , 罗芬 , 2013; 田伟, 辛涛 , 2012; 涂冬波 , 蔡艳 , 认知模型，或属性层级（attribute hierarchy, AH ）是 戴海琦 , 丁树良 , 2010; 张淑梅 , 包钰 , 郭文海 , 2013; 认知诊断测验编制的依据，它不仅决定了测验的结 祝玉芳 , 王黎华 , 丁树良 , 汪文义 , 2015; Boltd Fu, 构效度，还影响着对被试认知结构诊断分类的精确 2004; Sun, Xin, Zhang, de la Torre, 2013 ）来对被试 性。为保证认知诊断测验的结构效度，提高认知诊 的知识状态进行判别，但均未涉及多级计分情境下 断评估的精度，AH 合理性的验证尤为重要。Cui, 的 AH 验证方法。此时，往往采用强制转换的方法， Leighton, Gierl 和 Hunka （2006 ） 基 于 属 性 层 级 方 将个体在项目上的得分按满分的 60% （康春花, 吴 法（attribute hierarchy method, AHM ）提出了层级一 会云 , 陈婧 , 曾平飞 , 2015 ）或100% （康春花, 辛涛 , 致性指标（hierarchy consistency index, HCI ）以评估 田伟 , 2013 ）转换成1 和 0 ，然后计算HCI。然而， AH 的合理性。针对HCI 可能会出现分母为 0 的情况， 多级计分经过 0~1 转换会损失部分精细信息，从而 丁树良等人给出了修正的 HCI (modified HCI, MHCI) 造成较大的误差（丁树良 , 汪文义 , 罗芬 , 2014 ）， ( 丁树良 , 毛萌萌 , 汪文义 , 罗芬 , Cui, 2012; 毛萌萌 , 使 MHCI 的精确性受损，进而影响着对测验效度 2011)。此外，Guo 提出了检测不