不同认知结构被试的测验设计模式.docxVIP

? ? 不同认知结构被试的测验设计模式 ? ? 　　分类号B841 　　1 前言 　　认知诊断评价(Cognitive Diagnose Assessment，CDA，Leighton Gierl，2007)以认知诊断模型(Cognitive Diagnosis Model，CDM)为基础，是对被试认知结构或认知过程的诊断评估。同其他评价方法相比，CDA能实现对个体认知优势与劣势的诊断，从而为教师对学生进行补救教学、开展因材施教提供指导。与此同时，提供诊断信息，已经成为现代教育发展的重要需求。近年来兴起的“互联网+”智慧测评，强调测验需要向学生、家长以及教师提供诊断信息。在这个趋势下，CDA已经成为心理与教育测量学界最重要的研究热点之一(Chiu，Douglas， Li，2009；de la Torre，2008；De la Torre Douglas，2004；DeCarlo，2010；Liu，Xu， Ying，2012；郭磊，苑春永，边玉芳，2013；罗照盛，李喻骏，喻晓锋，高椿雷，彭亚风，2015；罗照盛，喻晓锋等，2015；涂冬波，蔡艳，戴海琦，2013；喻晓锋等，2015)。 　　正像医生需要用一些特定的医疗技术方法来诊断患者病症一样，CDA也需要相应的工具才能探查被试不可直接观察的认知结构，以实现其诊断功能。这个工具就是认知诊断测验(如无特别说明，本文中的测验均指认知诊断测验)。那么如何设计一个合理的诊断测验？一般来说，诊断测验编制的大致流程为：首先定义属性及其层级关系；然后设计Q矩阵(表征了项目和属性间关系)；最后命题专家依据所设计的Q矩阵编制项目组成测验进行测试。要精确诊断不同种类的认知结构就需要使用为其“量身定制”的测验。目前，关于诊断测验设计的研究可以分为以下两大类：传统测验形式的设计模式研究和计算机化自适应测验(Computerized Adaptive Test，CAT)的设计模式研究。 　　传统测验形式是用一套结构固定的试题去诊断具有不同认知结构的被试群体。为了实现对被试的高效诊断，研究者就如何设计这套试题的结构进行了很多有益的探讨(Liu，Huggins-Manley， Bradshaw，2017；Madison Bradshaw，2015；丁树良，汪文义，杨淑群，2011；丁树良，杨淑群，汪文义，2010；彭亚风，罗照盛，喻晓锋，高椿雷，李喻骏，2016)。研究结果均指出，在测验结构Q矩阵里包含R*(由于可达矩阵是特定概念，为不引起混淆，本文将Q矩阵中包含与可达矩阵元素结构相同的矩阵子集称为类R阵，记为R*)可以提高对被试的分类准确性。进一步，彭亚风等人(2016)针对不同属性个数及其层级关系，提出了进行诊断评价时Q矩阵优化设计的一些建议。这类研究从被试群体的角度提出了传统测验形式的结构优化设计，但是未考虑不同认知结构的针对性诊断需求，存在“千人一卷”的相对单一性，无法做到“因人施测”，因而不可避免地在测验效率上有所不足。 　　相比之下，认知诊断计算机化自适应测验(Cognitive Diagnosis Computerized Adaptive Test，CDCAT)有着传统测验形式所不具备的优势，即能够根据被试认知结构的不同测试不同的项目。这种测验形式虽然能保证被试所做的项目是当前题库中最优的，但是用来支持自适应测试过程的题库在设计时并没有考虑针对不同认知结构命制针对性的项目，这就从根本上限制了被试与项目之间的契合程度。更进一步，这就可能导致题库利用率出现问题，例如，项目的过度曝光、曝光不足以及曝光不均匀等问题。这些问题会影响测验安全，导致项目开发与维护的成本增加(Wang，Chang， Huebner，2011；毛秀珍，辛涛，2013；唐小娟，丁树良，俞宗火，2012)。 　　探索如何针对不同认知结构设计相对应的测验模式，这是尝试解决题库建设过程中一个重要的先导问题。在解决了这一问题，明确认知结构和项目之间关系的前提下，才能从根本上保证“因人施测”以及优化题库设计。 　　综上所述，本研究拟考察不同认知结构的测验设计模式，以期构建出不同认知结构的最佳测验设计模式，为题库建设提供切实可行的建议，进而帮助提高诊断效率的同时降低题库建设成本。本文包含两个模拟实验：实验1探讨了不同认知结构的最佳测验设计模式；实验2考察了基于不同认知结构的最佳测验设计模式在CD-CAT题库构建中的应用。 　　2 研究方法 　　正如前文所述，为不同认知结构被试设计对应的测验模式是为了高效精准地诊断被试，这与CAT的测验目的相吻合。而要实现这一目的需构建优质题库。为此，Reckase(2003，2007，2010)借助CAT的测验方式“反过来”探索优质题库的形态，并提出了CAT中题库的优化设计方法——p-优化