3测量效度与系统误差控制.ppt

第三章 测量效度与系统误差控制 江西师大心理与教育统计测量中心 第三章 测量效度与系统误差控制 第三章 测量效度与系统误差控制 测量效度概述 什么是效度 测量工具测量了他所希望测量的心理特质或行为特征的效果和程度。 效度总是与一定的测量目标相联系的。 我们称为某测量工具进行效度验证的过程为效度证据的获取过程，简称为效度验证。 测量效度概述 效度与信度的关系 信度研究的是测量结果的稳定性问题，效度研究的是测量结果的准确性问题。 测量的信度只受到随机误差或非系统测量误差的影响，而测量效度会同时受到随机误差和系统测量误差的影响。 一个测量工具可能是非常稳定（信度高），但却是无效的，因为他与测量的目标之间产生了系统性的偏差；当然，一个完全不稳定的测量工具也不可能是有效的。 第三章 测量效度与系统误差控制 测量工具效度验证的方法 根据测量目标的不同，对测量工具进行效度验证的方法主要有三种： 基于所测内容的效度验证方法。 基于所测心理结构的效度验证方法。 基于效标关联性的效度验证方法。 测量工具效度验证的方法 基于所测内容的效度验证方法 含义 就是要对测量工具本身的具体内容进行系统性的查验，以确定这些内容是不是测量目标特质或行为领域的一个有代表性的样本。 主要应用 学业成就测验、职业资格测验，还如人员选拔与安置中的工作样本测验。 测量工具效度验证的方法 基于所测内容的效度验证方法 评估方法 确定测量目标的全域范围及各部分内容权重。 确定一批有经验的领域专家，在深入培训的基础上，要求他们按照已确定的测量全域范围及各部分内容权重，初步分析测试题目的代表性，并对题目测量的被试作答的内部心理过程进行初步分析。 进行实测，根据测试数据分析和被试作答过程分析，全面验证测量工具的效度。 测量工具效度验证的方法 基于所测内容的效度验证方法 关于测量工具的表面效度 严格来说，表面效度并不符合效度的定义，因为他反映的不是实际要测量的目标是什么，或对目标测量的程度如何，而反映的是，测量工具从表面上看测量了什么。 表面效度关心的是测量的友好性和与公众的和谐关系。 测量工具效度验证的方法 基于效标关联性的效度验证方法 效标：它是独立于测量工具并可以从实践中获得的被试的行为特征表现，用于验证测量工具的有效性。 根据测量工具与效标两者结果获得的时间间隔的不同，基于效标关联性的效度证据采集可以有同时性设计与预测性设计两种方法。 测量工具效度验证的方法 基于效标关联性的效度验证方法 效度证据采集的预测性设计方法 含义：验证现有测量评价结果与将来才可能获取的效标评价结果之间的关联程度。 主要应用：人员选拔、安置类型的测量工具 测量工具效度验证的方法 基于效标关联性的效度验证方法 效度证据采集的预测性设计方法 首先，获取被试在当前测量工具上的评价结果，如测验分数、等级评定； 然后，间隔一定的时间，采集被试在预测目标（效标）上的评价结果； 最后，分析以上这两个评价结果之间的关联性程度，这种关联性程度的分析方法常用的有以下几种： 相关分析 区分能力分析 命中率分析 测量工具效度验证的方法 基于效标关联性的效度验证方法 效度证据采集的同时性设计方法 含义：对同时获得的测量工具评价结果与效标评价结果之间的关联性程度进行分析。 主要应用 经常用于评价测量工具诊断被试当前心理特质状态的效果。 在许多情形下，效度证据采集的同时性设计方法会替代预测性设计方法。 评估方法 测量工具效度验证的方法 基于效标关联性的效度验证方法 基于效标关联性的效度验证方法的影响因素 群体的一致性或同质性程度：应该尽量扩大被试群体的异质性，避免低估测验的真实效度。 测验长度：一般来说，测验长度越长，测试结果越稳定，效度系数会倾向于越高。 效标污染 测量工具效度验证的方法 基于效标关联性的效度验证方法 估计标准误 指的是测量工具实际测量的结果与预先设定的测量目标之间相互偏离的程度，而效度验证的过程就是要考察这种偏离程度的大小。 从实际应用范围及计算过程的便利性角度看，估计标准误的实际应用更多的是基于效标关联性的效度验证方法中。 测量工具效度验证的方法 基于效标关联性的效度验证方法 估计标准误 是表现为相关系数的效度系数； 是效标评定分数的标准差。 测量工具效度验证的方法 基于所测心理结构的效度验证方法 含义：对测量工具测量了心理学中某种特质或特质结构的程度进行验证的方法。 主要应用：各种心理测验，如智力测验、人格测验、焦虑测验、成就动机测验等。 测量工具效度验证的方法 基于所测心理结构的效度验证方法 评估方法 专家判断分析法 主要依靠专家的主观专业经验。 尽量减少专家主观随意性的影响。 德尔菲法。 测量工具效度验证的方法 基于所测心理结构的效