具有高阶诊断能力的RUM模型性能评价的研究.pdfVIP

摘 要 认知诊断评估是一种基于认知-th,理学并结合现代测量学的方法，旨在探索人 类在特定领域的潜在认知过程和认知结构的测验形式。认知诊断模型内含一个简 单或复杂的导入结构，是概率性的、验证性的多维潜在变量模型。这种模型适用 于对可观察分类反应变量和不可观察的(如，潜在的)分类预测变量进行建模。 要实现认知诊断的功能必须选择一个合适的认知诊断模型。在现有的上百种认知 诊断模型中，RUM模型被誉为一个成功的认知诊断模型，因而被广泛应用。随 后不少心理测量学家以RUM模型为基础，对其进行改良。其中HO．sRUM模型 与RUM模型最为相似，两者都对高阶能力进行了诊断。在这两种模型中，最大 、 的不同在于RUM模型的高阶能力是基于项目，而HO．sRUM模型的高阶能力是 基于认知属性，显然在认知诊断测验中项目的个数明显多于属性的个数(一般为 3倍左右)。因而使用RUM模型对认知诊断测验进行分析时会获得比较详尽的关 于项目质量的信息，但同时也会由于需要识别的参数过多而带来识别困难。 HO—sRUM模型虽然提供的项目质量的参数不如前者详细，但由于模型较前者精 简，因而在参数识别过程中较前者有优势。因此对于测验使用者如何去选择一个 合适的、性能好的、精度高的模型来服务于测验则是本研究想给予解答的问题， 为使用者提供模型选择的依据。 本研究通过模拟实验和实证实验对HO．sRUM模型和RUM模型性能进评 价。其中模拟实验包含三个子研究：(1)RUM模型与HO．sRUM模型性能评价； 型对真实的数据进行诊断，根据诊断的质量评价两个模型的性能。 模拟研究部分分为三个子研究，在子研究一中RUM模型和H0一sRUM模型对其 生成的数据进行估计，其项目参数估计结果准确性较高，质量较好。但两个模型 对被试参数中的能力参数估计结果不如项目参数的理想，特别是RUM模型。在子 研究二中将RUM模型和H0-sRUM模型独立生成的数据交换模型进行估计，既可以 判断模型的容错性也可以佐证当RUM模型演变成H0-sRUM模型时结构的改变为模 型识别带来什么样的后果。其实验结果表明在RUM模型和H0-sRUM模型中当生成 T 模型与估计模型不一致的情况下，对模型的项目参数，．’的估计影响较大，使其估 计的精确性大大降低。而对另一项目参数万。、被试属性掌握模式的边际判准率 以及模式判准率产生的影响不大，且两个模型结构稳定。子研究三将从以，(臼，)结 构着手，探索Pc，(秒，)参数的一致性程度的高低将为HO—sRUM模型的估计和识别 带来什么样的影响。其结果显示见，(乡，)一致性程度高的样本数据其使用H0-sRUM 模型进行诊断估计的结果良好，无论是项目参数还是被试参数都与真值十分接 近，偏差甚小。而见，(秒，)一致性程度低的情况下项目参数，．’的估计偏差相对较 大。这就进一步验证了见，(乡，)对模型估计产生了一定的影响，特别是对于项目 参数，．’的估计。这个结论与e参数的估计会为RUM模型中其他项目参数的识别带 来困难这一结论相吻合(Hartz，2002)。 为了获取对模型的评价更充分的理据，实证研究部分使用RUM模型和 H0-sRUM模型对实证的数据进行分析，并从模型数据所估计项目参数和属性掌握 模式的划分的可靠性和准确性对RUM模型和HO-sRUM模型诊断结果进行比较分 析。研究的结果表明：1)对于RUM模型，在对无意义的项目参数进行删减后， 模型的总判准率、一致性系数、重测信度等都相应增加，这意味着删减无意义属 性后模型诊断的质量有所提高。2)RUM模型和HO-sRU／Vl模型在对无意义属性进 行删减前后项目参数估计结果大致稳定且一致。3)RUM模型的诊断中，大部分 被试未能正确作答项目的原因是未掌握或掌握小于一般的作答项目所需要的项 目属性。4)将删减部分属性前后的RUM模型所估计的项目参数与HO-sRUM模型 在删减属性前后的结果作比较，发现两者的万’参数估计结果高度相关，而r。参 数也存在显著相关，但其相关程度不及乃‘参数显著。5)在对RUM模型和H0-sRUM 模型属性掌握模式分类一致性研究中发现，两个模型分类一致性程度良好。但在 以(0。4，0．6)区间为分类标准时，其分类一致性程度比以0．5为分类标准的高， 说明在0．4与0．6之间存在部分被试的分布，因此如何对这部分被试的属性掌握 模式进行划分影响模型诊断分类的精确性。 关键词：RUM；HO．s