认知诊断测验编制及原则.docVIP

认知诊断测验编制的原则 2011-01-03 来源：/ 　　摘要：Tatsuoka 给出的实例表明，不同知识状态可能对应同一理想反应模式，即对知识状态产生误判。如果不是对测验进行事后分析，找出属性及层级，而是采用Leighton 等人所倡导的方法，在认知诊断测验编制之前确定所测属性及其层次，导出可达阵，这时可以证明只要将可达阵作为认知诊断测验蓝图的一部分，则可避免这一问题。这一原则不仅对认知诊断测验蓝图的设计有指导作用，而且对制定有认知诊断功能的计算机化自适应测验的选题策略有着重要的参考作用。　　　　关键词：测验蓝图；认知诊断；可达矩阵；理想反应模式；计算机化自适应测验　　　　1. 引言　　通常把对个体知识结构、加工技能或认知过程（均简称为属性，attribute）的诊断评估称为认知诊断评估或认知诊断(cognitive diagnosis assessment /cognitive diagnosis, CDA，Leighton and Gierl，2007.) [1]。　　　　一般的教育考试, 特别是大规模的考试，只提供考试分数或能力分数。然而由单一的分数，既不能得到被试具体掌握或未掌握什么知识的结论,也不能得到被试做错试题的原因，以进行补救；对于相同分数的个体，更无法得到他们之间可能存在的知识状态和认知结构的差异。传统的考试提供的信息已不太适合个体发展的需要，认知诊断评估的主要任务是挖掘更多的认知加工信息。Leighton 和 Gierl（2007）[1]认为认知诊断是用于测量/评价个体特定的知识结构（knowledge structure）和加工技能（processing skills）。CDA 通过测验获得被试在测验上(可观察)的反应而推知该被试不可观察的知识状态（knowledge state）。　　　　Leighton 和Gierl(2007) [1]在他们所编写的书第一篇文章(p.3)称CDA 仍处于萌芽状态(CDA is still in its infancy)，表明对CDA 的研究，包括认知诊断测验的构造都是新的课题。Gierl(2007) [1]在注释(p.337)中又指出，认知诊断测验设计是一个重要的研究领域，而已有的相关研究成果却很少，连Downing 和 Haladyma 编辑的由Erlbaum 在2006 年出版的测验编制手册(Handbook of test development)中也没有相应的章节涉及认知诊断测验编制，甚至找不到认知诊断评价的主题词条(subject entry)。Gierl(2007)[2]还认为只有Gorin(2007)[1]描述了认知诊断测验编制的原理。认知诊断测验的编制是一件具有挑战性的任务，限于篇幅和本文主旨，这里不讨论如何与命题专家沟通，打磨出好的试题的问题，而集中讨论认知诊断测验蓝图的编制问题。　　　　在讨论认知诊断测验蓝图的编制问题之前，我们先看两个例子，一个是简化的用以解释原理性的例子；另一个是规则空间模型（rule space model,RSM）的开创者Tatsuoka（1995）给出的例子[2][3] [4][5]，用以说明实际工作中考虑不周就很有可能编制出有问题的诊断测验。　　　　下文中理想反应是指既不猜测也不失误的作答反应，只有被试掌握了项目所测的所有属性，才能正确作答。属性层级方法（attribute hierarchy method，AHM）[6][7][8]中称理想反应为期望反应模式；确定性输入，噪声“与”门模型（deterministic inputs，noisy ”and” gate model,DINA,如可参见Henson Douglas,2005[9]）中的理想反应模式具体计算公式见附录1(其实，差不多所有理想反应模式都可以这样计算，当然也可以用丁树良等[10]介绍的方法计算)。由附录1 中具体计算公式可见理想反应模式十分重要，其实理想反应模式对诸如RSM,AHM等许多认知诊断模型都十分重要。对于诊断测验，在既不猜测也不失误的理想作答反应情况下，具有不同知识状态的被试对应不同的理想反应模式, 则称为理想的认知诊断测验;否则称为理想反应误判的认知诊断测验。若具有不同知识状态被试对应相同的理想反应模式，则称这些不同知识状态为等价类。实际上，这个等价类是由测验蓝图（测验Q阵）决定的，称为知识状态中由测验Q阵决定的等价类。我们希望有测验Q阵，使得每个等价类中仅仅有一个知识状态。　　　　例1.三个属性A1，A2，A3，它们彼此之间不存在先决关系（prerequisite relation）。于是属性之间的可达阵R 为三阶单位阵I。今给出三个项目作为诊断测验。注意被试的知识状态共有8 种，即α1=（000），α2