多种机器学习方法在小样本下认知诊断中的应用与评估.pdf

摘 要 认知诊断理论（cognitive diagnostic theory ），在对个体能力水平进行评估的同时，还能 了解学生对各个知识点的掌握情况。而传统的认知诊断模型进行参数估计的准确性往往依 赖较大的样本量，这不符合现实中课堂教学模式下形成的小样本环境。因此，有研究者提 出了机器学习方法进行认知诊断能够在小样本中提取关键信息，且对于各种不同的数据具 有很好的稳健性，从而实现比较准确的分类。 但是以往研究中缺少对于不同机器学习方法之间判准性的比较，且有一些机器学习方 法并未涉及，例如朴素贝叶斯、决策树、回归树、随机森林等。其中决策树模型在较少数 据的情况下比其他复杂的模型对于简单分类问题更具优势，且对于结果的解释不需要数学 背景；随机森林算法对噪声具有很好的抵抗能力，能够适应多种数据类型；朴素贝叶斯分 类模型简单且有效，在训练样本数量较少的同时，依旧能够较为准确的实现预测。因此本 研究采用包括以往研究中出现的三种机器学习方法（K-邻近，神经网络，支持向量机），同 时加入四种新的机器学方法（朴素贝叶斯、决策树、随机森林、回归树）共七种机器学习 方法对小样本下认知诊断数据进行拟合，比较不同机器学习方法与传统模型对结果的预测 情况。 本文共三个研究，研究一和研究二是模拟研究，研究三是实证研究。研究一的目的是 将K 邻近、神经网络、支持向量机、朴素贝叶斯、决策树、回归树、随机森林共七种机器 学习方法在模拟研究中对认知诊断被试的属性掌握模式进行判准率检验，探究不同机器学 习方法对被试的属性掌握模式进行判准的可行性。研究二旨在将研究一中筛选出的机器学 习模型在小样本下与传统的DINA 模型进行比较，探究不同机器学习方法在小样本下的分 类准确性。研究三则通过设计实验，将被试进行分组学习作答来体现现实认知诊断评估的 真实过程，以验证多种机器学习方法在真实数据中进行认知诊断的预测能力。研究结果表 明： （1）机器学习方法的分类准确性受到属性数量（即分类数量）的影响较大，除了回归 树模型在分类数据中的表现较差，其他的模型均表现较好。 （2 ）在小样本模拟数据中，决策树模型和随机森林算法分类准确性表现较好。其中随 机森林算法在样本量为 100 时与DINA 模型的判准率持平，样本量为 150、200 时均超过 了DINA 模型。 （3 ）在实证研究中，机器学习方法的判准率结果均优于DINA 模型，这有可能是因为 I 硕士学位论文 机器学习方法的鲁棒性以及模拟研究过程中数据生成依靠的就是DINA 模型。 （4 ）在实际小样本认知诊断测量中建议使用决策树和随机森林算法，但是要求总的属 性数量较少或者存在属性层级关系。 关键词：认知诊断；机器学习；分类准确性；小样本 II 目 录 摘 要 I Abstract III 目 录 V 引 言 1 1 文献综述3 1.1 认知诊断研究3 1.1.1 认知诊断模型简介4 1.1.2 认知诊断分类准确性的影响因素6 1.2 小样本下认知诊断的研究现状6 1.3 机器学习及其模型7 1.3.1 k 邻近算法8 1.3.2 朴素贝叶斯模型 10 1.3.3 决策树 11 1.3.4 回归树 12 1.3.5 神经网络 13 1.3.6 随机森林 14 1.3.7 支持向量机 15 2 研究问题与研究设计 18 2.1 问题提出 18 2.2 研究内容与设计 19 2.3 研究意义与创新 19 3 研究一：多种机器学习方法进行认知诊断的可行性研究21 3.1 研究目的21 3.2 研究设计21 3.2.1 研究条件设置21 3.2.2 评价指标21