多级计分认知诊断评估中的Q矩阵验证方法与应用研究.pdfVIP

摘 要 Q 矩阵在模型参数估计和被试的诊断分类过程中起着重要的作用。现阶段关 于 Q 矩阵验证的研究多是基于被试得分向量元素为 0-1 的二值情况下进行的。 有研究表明，被试作答计分为多级时，可提供更多有关被试的诊断信息，并且我 国的测验是以多级计分为主。基于此，本研究拟探讨多级计分条件下 Q 矩阵验 证的方法。 基于被试的作答数据，分别利用非参数化的方法和参数化的方法对Q 矩阵进 行验证。从众多已有的方法中选取两种方法进行改进和拓广，其中，非参数化的 方法考虑的是改进 Chiu (2013) 的方法(称改进后的方法为 法) ，将其中统计量 的定义扩展到多级计分测验中；而对于参数化的方法，主要是拓广Liu, Xu 和Ying (2012)的方法(称改进后的方法为 法) ，使它可以应用到多级计分的认知诊断中。 为了评价改进后算法的表现，我们开展了一系列的蒙特卡洛模拟研究，考虑 的因素主要有：被试人数和 Q 矩阵中存在错误的比例。并且通过拓广后的方法 在实证数据中的表现，进一步评价它们各自的特点。具体开展了三项研究：研究 一是基于非参数化的方法（ 法）验证多级计分条件下的 Q 矩阵；研究二是使 用参数化的方法（ 法）验证多级计分条件下的 Q 矩阵；研究三是实证数据应 用研究。研究结果表明： （1） 在小样本和含有错误比例较高时，Q 矩阵正确估计率在50%左右； 在中等规模样本量以及错误比例较低时，该方法有较高的 Q 矩阵正确估计率； 在多步骤题目中，第一步所对应的属性向量估计成功率最高，后续步骤的属性向 量正确估计率会下降。 （2 ） 法在较大样本以及错误比例较低时，该方法有较高的Q 矩阵正确估 计率；当样本变小并且包含更高的错误比例时，Q 矩阵正确估计率会下降到只有 60%左右；对于多步骤题目， 对于各步骤所对应属性向量的估计成功率有与 类似的下降趋势。 （3 ）在实证数据研究中，采用两种方法对Q 矩阵进行验证，其修正结果存 I 在一些差异。总体而言，相对于初始Q 矩阵，两种方法对多级计分条件下Q 矩 阵的估计更倾向于“高估”一些属性。 关键字：认知诊断；Q 矩阵；多级计分；sequential GDINA II Abstract Q matrix plays an important role in the estimation of model parameters, and the diagnostic classification of test-takers. At present, most of the existing research on Q matrix validation is based on the binary case where the response vector element is 0-1. Some studies have shown that scoring the responses of the subjects at multiple levels can provide more diagnostic information to the subjects,and the tests in China are mainly scored at multiple levels. Based on this, this study intends to explore the method of Q matrix validation in the case of polytomous scoring. Based on the response data of the subjects, this paper intends to investigate the validation of Q matrix by using the nonparametric method and the parametric method, respectively. Consider a sequentia