心理与教育测量第四章.ppt

五、评分者信度定义多个评分者给同一批人的答卷进行评分的一致性程度。计算两个评分者：采用积差相关或等级相关多个评分者：无相同等级情况：肯德尔W系数有相同等级情况：校正之后的肯德尔W系数。W系数的显著性检验：查W表（K：3~20人，N：3~7个）；计算χ2值：χ2=K（N-1）W，df=N-1。第32页,共46页，2024年2月25日，星期天肯德尔W系数校正后的W系数（略）第33页,共46页，2024年2月25日，星期天评分误差产生的原因试题原因试题答案不唯一，评分标准还客观，要依赖于评分者主观经验，因此评分误差严重主要在自由反应性试题上，特别是论文式试题。评分者原因：①评分者专业知识水平不够；影响对试题和答案的理解，尤其是综合性试题，创造性答案。②评分者评判能力不够；缺乏评判能力，特别是缺乏计量评判能力，评分勿高忽低，或偏高、偏低。③评分者个性倾向影响：宽、严不同，导致评分不一致。④评分者心理状况和工作态度不同。第34页,共46页，2024年2月25日，星期天评分阅卷中各种客观效应的影响：①“名片效应”②“光环效应”③“对比效应”④“先后效应”环境与组织管理的影响。第35页,共46页，2024年2月25日，星期天控制论文式试题评分误差的方法。命题进尽量控制作答的发散范围，预先制定好评分规则，并尽是客观、精细，但不吹毛求疵。选择和培训阅卷人员，统一评分标准，规范阅卷行为。流水作业评分。分因素评分。第36页,共46页，2024年2月25日，星期天组织复查。自觉防止各种客观效应的影响。在规模阅卷中可考虑采用统计手段控制和调整评分误差。①均数、标准差。②网上阅卷。③电子阅卷员。第37页,共46页，2024年2月25日，星期天六、成套测验综合分数的信度略第38页,共46页，2024年2月25日，星期天第三节提高测量信度的方法影响测量信度的主要因素提高测量信度的常用方法几点说明第39页,共46页，2024年2月25日，星期天一、影响测量信度的主要因素被试方面：单个被试心理的稳定性；团体被试水平的离散程度及平均水平的过高或过低。主试者方面施测人员不按规定施测或给学生加压、暗示。阅卷人员标准掌握一致、不准确。第40页,共46页，2024年2月25日，星期天施测情境方面考场条件声、光、空间、桌面、仪器质量等。测量工具方面：量具性能是否稳定，包括试题取样代表性、稳定性，试题同质性，试题难度及其分布。两次施测估计信度的间隔时间。时间间隔会影响重测信度和稳定性与等值性系数（有时也叫重测复本信度）时间间隔越长则信度越低。第41页,共46页，2024年2月25日，星期天二、提高信度的常用方法适当增加测验长度。（其本质是加大行为样本容量）注意：加长部分必须与原测题同质，而且不可无限加长。加长测验的效果可用rkk=krxx/[1+(k-1)rxx]计算，其中k为改变后的测验长度与原来长度之比，rxx为原测量的信度，rkk为测验长度增加为k倍后的测量信度。加长效果遵循报酬递减律。第42页,共46页，2024年2月25日，星期天举例有一个包括20个题目的测验，信度为0.60，若把测验增加到50个题目，其信度将增加到多少？一个包含60个题目的测验信度是0.80，欲将信度提高到0.90，需要增加多少题目？第43页,共46页，2024年2月25日，星期天控制试题难度分布为正态，并把难度控制在中等水平。此时，被试得分方差增大，会提高信度。努力提高每一试题的区分度。维持试题所测内容的同质性。统一规范施测程序和施测环境。保证被试有充裕的作答时间。严格按照标准给分，控制评分误差。努力提高被试中各同质亚团体的测验信度。第44页,共46页，2024年2月25日，星期天三、几点说明本章所讲为测量的信度，而不是测验的信度这就要求测验在不同被试群体上，不同时间施测时均要重新计算信度。有多少种误差来源就有多少种信度估计方法原则是哪种测量误差最大，就选用相应的信度估计方法。有时需要同时估计几种信度。第45页,共46页，2024年2月25日，星期天感谢大家观看第46页,共46页，2024年2月25日，星期天关于心理与教育测量第四章第四章测量信度信度概述信度的估计方法提高测量信度的方法第2页,共46页，2024年2月25日，星期天第一节信度概述信度的定义信度的作用第3页,共46页，2024年2月25日，星期天一、信度的定义信度的描述性定义信度（reliability）指测量结果的稳定性程度，有时也叫测量结果的可靠性。信度系数（）是表示测量信