[理学]04 效度.ppt

第四章 效度 第一节 概述 第二节 内容效度 第三节 效标关联效度 第四节 构想效度 第五节 提高测量效度的方法 第一节 概述 一、效度的含义 二、效度和信度的关系 三、效度的种类 一、效度的含义 效度（validation) 指测验的有效性，即测验分数能够代表所要测量的心理特性的程度，或测验结果达到测验目的的程度。 一个测验对所要测验的特性测量到什么程度的估计。 AERA，APA，NCME（1999，p12） 指根据指定用途支持分数解释的那些事实和理论的有效程度。 效度的数学定义 测验分数 = 有效分数 + 系统误差 + 随机误差 测验分数的方差= 有效分数的方差+系统误差的方差+随机误差的方差 效度为有效分数的方差与测验分数方差的比 二、效度和信度的关系 信度高是效度高的必要条件，而非充分条件 三、效度的种类 内容效度 效标关联效度 构想效度 第二节 内容效度 一、内容效度的含义 二、验证测验内容效度的程序 三、内容效度的确定方法 四、适用范围 五、表面效度 一、内容效度的含义 内容效度（content validation） 测验项目对所要测量的内容范围的代表性程度。 测验的使用者希望估计测验在它所要代表的环境整体中一个考生表现如何。 （1974） 内容关联凭证（content-related evidence）（1985） 基于考试内容的凭证（evidence based on test content )（1999）（p299） 二、验证测验内容效度的一般程序 以教育测验为例 确定所要测量的全部内容范围； 将测验目的具体化为不同层次的测验目标； 确定每一层测验目标在整个测验中的比重； 编制双向细目表； 确定每一小格中的测题数量； 按比例随机抽取测验题目； 请专家对测题的代表性、适合性进行分析，并作必要的修改，直到大多数专家满意为止。 双向细目表举例 三、内容效度的确定 专家判断法（如前所述） 复本法 处理后的重测法 内容效度比 复本法 一组被试在取自同样内容范围的两个测验复本上得分的相关来估计。 如果相关低，则两个测验中至少一个缺乏内容效度。 如果相关高，一般推论测验具有内容效度，但也可能出现两个测验有相同偏差的情况。 处理后的重测法 前测——教学——后测 在教学或训练之前施测某一测验，然后对他们进行教学训练，结束时再测一次。如果成绩提高很大，则说明测验对教学具有较高的内容效度。 内容效度比 四、适用范围 内容效度适合于测验所要测量的内容总体能够明确界定的情况： 标准参照测验 知识测验、技能测验等教育测验 工作表现可以界定的职业心理测验 不适合：智力测验，人格测验 五、表面效度 表面效度（face validity ） 被试主观上认为测验是否测量了所要测量的心理特性。 并不是一种真正的效度。 表面效度影响被试的测验动机。 人格测验要求表面效度不宜过高。 第三节 效标关联效度 一、效标关联效度概述 二、效标 三、效标关联效度估计的方法 四、效标关联效度的应用 一、效标关联效度概述 效标关联效度（criterion-related validity） 指测验分数与外部效标之间的相关。 又称准则关联效度。 效标即效度标准。 指独立于测验结果，反映测验目的的行为参照。 效标关联效度研究的一般步骤 确定一种恰当的准则行为及其测量方法； 确定一个能代表测验最终使用对象的适合的受测者样本； 施测并记录每个受测者的得分； 得到准则资料，对每个受测者在该准则上的操作进行测量； 确定测验分数与准则分数的相关程度。 效标关联效度的类型 预测效度（predictive validity） 测验分数与随后获得的效标分数之间的相关。 同时效度（concurrent validity） 测验分数与几乎同时获得的效标分数之间的相关。 二、效标（准则） 效标的测量 常用的效标 1．效标的测量 有效性：高效度 可靠性：高信度 客观性： 效标污染（criterion contamination）：在对效标进行测量的过程中，由于事先知道预测源的结果，而对效标测量产生影响或污染的过程 实用性：方便,经济 2．常用的效标 学术成就（智力测验、标准化成就测验的效标） 实际工作表现（特殊能力测验、部分智力测验和人格测验的效标） 团体差异（测验分数能将已经知道的团体差异区分开来） 临床诊断（人格测验的效标） 特殊训练的成绩（特殊能力测验的效标） 等级评定（人格测验中其他人的评定） 现有的测验 三、效标关联效度估计的方法 相关系数法 分组检验法 命中率法 功利率法 1．相关系数法 方法： 积差相关、点二列相关、二列相关、等