CD-MST初始阶段模块组建方法比较.pdfVIP

心理学报 2016, Vol. 48, No.8, 10371046 Acta Psychologica Sinica DOI: 10.3724/SP.J.1041.2016. 0 1037 CD-MST 初始阶段模块组建方法比较* 1,2 1 1 1 1 高椿雷 罗照盛 喻晓锋 彭亚风 郑蝉金 (1 江西师范大学心理学院; 2 江西师范大学初等教育学院, 南昌 330022) 摘 要 具有认知诊断功能的计算机化多阶段测验(CD-MST)是 CDA 和 MST 相结合的一种测验方式。由于 CD-MST 自适应频次较少, 初始阶段模块组建会影响整个测验的判准率。借鉴 CD-CAT 初始项目选取方法 , 根据 CDA 和 MST 自身特点, 提出了 7 种 CD-MST 初始阶段模块组建方法, 分别是随机法、选题策略法、R*矩 阵法、CTTID 法、CDI 法、CTTIDR*法和 CDIR*法。采用模拟研究对不同项目质量下 7 种方法的判准率进 行了比较。研究结果表明 , 当初始阶段结束时, 包含 R*矩阵的方法判准率显著高于其他方法 , 尤其是 CTTIDR*法 ; 整个测验结束时, CTTIDR*法较其他方法仍然有优势, CDIR*法和 R*矩阵法结果较为接近。选 题策略法在初始阶段结束时判准率较低, 甚至低于随机法 , 整个测验结束时, 判准率同 CDIR*法和 R*矩阵 法持平。4 种项目质量对判准率影响较大, HD-HV 题库下判准率最高, HD-LV 次之, LD-HV 较差, LD-LV 最差。 关键词 认知诊断评价 ; 计算机化多阶段测验 ; 具有认知诊断功能的计算机化多阶段测验 ; 初始阶段模块 组建方法 分类号 B841 1 引言 Zhang, 2014; Kaplan, de la Torre, Barrada, 2015; 王卓然, 郭磊, 边玉芳, 2014; Mao Xin, 2013; Chen, 认知诊断评价(Cognitive Diagnosis Assessment, Xin, Wang, Chang, 2012)等。 CDA)更细粒度的评价学生对知识的掌握情况并给 现阶段主要的测验形式包括纸笔测验(或使用 出详细的诊断信息。它的实施包含 6 个过程, 1)评 计算机实行的纸笔测验 ) 、计算机化自适应测验 价目标的确定, 2)确定诊断目标所涉及的认知属性 (Computerized Adaptive Testing, CAT)和多阶段自 及属性间的层级关系, 3)认知诊断测验的正式编制 , 适应测验(Multi-stage Testing, MST)。纸笔测验历史千 4)属性及属性层级关系的验证, 5)正式测试及诊断 年, 易于组卷、实施简单, 但是它存在着测验长度 信息的获取, 6)诊断结果报告及针对性的补救措施 长、实施不灵活、效率低下等问题; CAT 是“量体裁衣” 的制作(涂冬波, 蔡艳, 丁树良, 2012; DiBello, Roussos, 的理想化的测验方式, 针对每位被试的能力水平给 Stout, 2007) 。CDA 穿插在教与学的过程中, 是一 予最适合的题目, 因此可以随时安排考试, 缩短测 种风险相对较低、用于改进教学的测验方式, 为教 CAT 在提高测验效率的同时存在着许