认知诊断中测验Q矩阵标定及其在组卷中的应用.pdfVIP

摘 要 认知诊断评估理论是个性化适应学习的重要组成部分。认知诊断理论自提出 以来，便由于其能够细致地分析与解释考试结果而备受关注。要进行认知诊断测 验以实现对每类学生的知识掌握状态准确地诊断，首先要标定测验Q 矩阵或进 行特征提取，即标定出每个题目所测量的知识点，然后根据题目特征及其量化的 试题参数，从测验Q 矩阵中选择合适的题目组成试卷。从认知诊断的基本过程 来看，测验Q 矩阵质量和试卷质量对于精准诊断十分重要。因此，如何标定测 验Q 矩阵及将其应用于组卷，成为认知诊断研究中重要研究问题。 一般而言，测验 Q 矩阵的标定是由学科专家通过讨论共同完成，但是这种 标定方式存在标定成本高、主观性强以及专家意见可能不一致等问题。基于认知 诊断的组卷方法方面，国内外研究者提出了大量方法，但这些方法大多基于某一 认知诊断指标进行选题，存在缺乏整体考虑或计算量大等问题。因此，认知诊断 急需研究更加客观地估计测验 Q 矩阵的方法和考虑整体信息且计算量较小的组 卷方法。 研究一旨在改进基于探索性因素分析的 Q 矩阵标定方法。考虑到在实际应 用中，被试做题时的猜测和失误（统称为噪音）会影响探索性因素分析法所使用 的四分相关矩阵的质量，研究一提出四分相关矩阵的一种噪音修正方法，并将其 应用于 Q 矩阵标定。研究二基于聚类分析的最大类间距离思想提出一种新的组 卷方法，它以各知识状态的正确作答概率向量（观察得分向量的期望）为类中心， 并考虑测验各种约束，采用混合线性规划方法实现最小类间距离最大化的组卷， 理论上可以得到判准率更高的测验。 采用模拟研究考查新的Q 矩阵标定方法和组卷方法的表现。研究一结果显 示：猜测和失误这两种噪音会对Q 矩阵的标定产生不利的影响；基于修正后的 四分相关矩阵的探索性因素分析法，在样本量较大和噪音较大等情况下，可以有 效地提高Q 矩阵标定的准确率。研究二结果显示：新的组卷方法在属性数较少 时表现相对出色，当属性数增多时，这种优势会相对降低，但在模式判准率上仍 存在较大优势。 关键词:认知诊断；Q 矩阵；探索性方法；四分相关系数；数据预处理；组卷方 法；聚类分析 I Abstract Cognitive diagnostic assessment theory is an important part of personalized adaptive learning. Since its introduction, the theory of cognitive diagnosis has attracted much attention because of its ability to analyze and interpret examination results in detail. The development of a cognitive diagnostic test to accurately diagnose the knowledge mastery status of each type of student includes the following steps: first the specification of the test Q-matrix or feature extraction, that is, specify the knowledge points measured for each test item, and then according to item characteristics and item parameters of test items, select the appropriate items from the test Q-matrix to form a test paper. From the basic process of c