教育认知诊断测验的信度和效度研究评述.pdfVIP

2014年第5期 考试研究 No．5，2014 (总第46期) EXAMINAT10NSRESEARCH GeneralNo．46 教育认知诊断测验的信度和效度研究评述 汪文义 宋丽红 丁树 良 [摘 要] 信度和效度是衡量一个测量工具质量的关键指标，教育认知诊断测验 中的信度和 效度研究近年来受到研究者的关注。诊断测验的信度系数基本上源 自基于ot系数的属性信度系数、 经验属性信度系数 、四分相关系数、模拟重测一致性和分类一致性指标 ；效度 系数主要包括模拟判准 率、分类准确性和理论构想效度等。教育认知诊断测验的信度和效度研究较新，仍存在着一定的不 足且缺乏全面的比较研 究，更缺少系统的评价体 系。 [关键词] 属性信度 ；经验信度；分类一致性；分类准确性；理论构想效度 [中图分类号] G424．74 [文献标识码] A [文章编号] 1673—1654(2014)05—029—008 的评价及在此基础上对考生的筛选。随着认知心理 学和人工智能研究的开展，诞生了认知诊断测验。 一 、 引言 认知诊断测验不仅仅报告总分，还需要报告学生测 验分数背后所隐含的知识结构和加工技能，如学生 信度和效度是衡量一个测量工具优劣的关键指 掌握了哪些知识点或技能 (以下统称为属性)、未掌 标。信度又称可靠性，是测量结果的一致性和稳定 握哪些知识点或技能 (戴海琦、罗照盛，2010)等。 性程度的指标。效度也称有效性，即测验能够测出 认知诊断测验报告个体分数的目的，并非实现排序 所测量属性的程度的指标 (张厚粲、龚耀先，2012)。 功能，而是提供具有标准参 照解释 (criterion— 信度或效度不满足要求的测量工具是不能使用的， referencedinterpretations)的属性掌握与未掌握的分 只有在信度 、效度和结果的可 比性明确的前提下，分 类结果 (RuppMislevy，2010)。有研究者认为 ，诊 数报告才可以进行 (AERA，APA，NCME，1999)。 断分数的信度难 以保证；也有研究者认为，如果对命 教育成就测验是当今世界上应用最为广泛、最 题、考试方式、评价方式等进行调整，评价提供的诊 为频繁的心理测验之一。传统的成就测验关注的焦 断性信息对于改进教学具有无法替代 的作用 (马世 点是测验分数的结果，仅局限于给出考生一个笼统 晔、章建石 ，2012)。 作者简介 汪文义，博士，江西师范大学计算机信息工程学院；宋丽红，博士，江西师范大学初等教育学院；丁树良，教授 ，江 西师范大学计算机信息工程学院。江西南昌，330022。 本研究得到国家 自然科学基金 3116020331360237)、国家社会科学基金 (12BYY055)、国家教育科学 规划项 目(CCA110109)、教育部人文社科项 目(09JJCXLX012，10YJCXLX049，l1YJC190002)、教育部人文社会科学研究青年基 金项 目(13YJC880060)、江西省社会科学研 究 “十二五”(2012年)规划项 目(12JY07)、江西省教 育科学2013年度一般课题 (13YB032)、江西省教 育厅科技计划项 目(G_Ij11385，GJJ10238，GJJ13207，GJJ13226)、全 国教 育考试科研规划课题 (2009JKS2009)、高等学校博士学科点专项科研基金 (20113604110001)和江西师范大学青年成长基金的资助。