教育测量评价的效度讲座.pptVIP

教学目标 掌握什么是效度及效度与信度的关系。 理解三种效度的验证方法：内容效度、结构效度和准则关联效度。 了解影响效度的因素及效度系数的应用 掌握项目难度、区分度及计算 测量效度概述 一、什么是效度 ——测量工具测量了他所希望测量的心理特质或行为特征的效果和程度。 一个测验总是为一定的测量目的而设计编制的,并具有一定的操作规则和使用范围,判断它的效度高低,首先要看它达到测验目的的程度,如果能正确地测量出所要测的东西,那么它就是高效度的测量。 二、效度与信度的关系 信度：研究的是测量结果的稳定性问题 效度：研究的是测量结果的准确性问题。 信度：受到随机误差或非系统测量误差的影响， 效度：同时受到随机误差和系统测量误差的影响。 信度是效度的必要条件,但不是充分条件. 要想一个测验的效度高，其信度必须得高；但信度高,效度未必高。如： 一个完全不稳定的测量工具不可能是有效。 一个测量工具可能非常稳定（信度高），但却是无效的，因为其与测量的目标之间产生了系统性的偏差。 效度验证的方法 根据测量目标的不同，对测量工具进行效度验证的方法主要有三种： 内容效度（基于所测内容的效度验证方法） 结构效度（基于所测心理结构的效度验证方法） 准则关联效度（基于效标关联性的效度验证方法） 一、内容效度 （一）含义 ——测题是否充分代表所要测量的内容范围。即测题对有关内容或行为范围取样的适当性，其关注的是测验的内容方面。 （二）主要应用 学业成就测验、职业资格测验等。 专家评定（有不足） 编制双向细目表 如：高中化学标准测验双向细目表 ——测验使用者或被试的主观认识上觉得有效的程度。 严格来说，表面效度并不符合效度的定义，因为他反映的不是实际要测量的目标是什么，或对目标测量的程度如何，而反映的是，测量工具从表面上看测量了什么。 表面效度关心的是测量的友好性和与公众的和谐关系。 职业兴趣测验、成就测验中均应重视表面效度，人格测验中则不适合。 二、结构效度 （一）含义 ——测验能说明心理学上的理论结构或特质的程度，或用心理学上某种结构或特质来解释测验分数的恰当程度。 （二）主要应用： 各种心理测验，如智力测验、人格测验、焦虑测验、成就动机测验等。 1、测验内方法 ——通过研究测验内部构造来分析测验的结构效度。 ① 内容效度 ②被试解答测题时的反应过程 在施行个别测验时，要求被试边想边说，通过分析被试解题时的心理过程来核实测验是否测到欲测的心理结构。 ③测验的同质性（内在一致性系数） 结构效度的一个重要证据来源。 实质：测验总分本身是用于评价所测心理结构的效度最好的效标。 相关分析法： 求取每个项目与测验总分之间的相关系数，如果项目—测验相关显著，表明该项目与总测验的结构是一致的。 ——同时考虑几个测验间的相互关联，考察这些测验是否在测量同一心理结构。 ① 相容效度 计算新编的测验与原有的、已知的效度较高的测验间的相关。 ②汇聚效度和区分效度（求同效度和求异效度） 汇聚效度：若两个测验测量同一特质，即使使用不同方法测量，它们之间的相关应高。 区分效度：若两测验测量的不是同一特质，即使使用相同方法测量，它们之间相关应低。 ③不同类型信度的特点 比较同一测验不同类型信度值的特点。如：焦虑量表的重测信度值分半信度值 ④准则关联效度的研究 注重测验分数是否将不同团体的人区分开来。 ⑤发展水平的变化（信度系数） ⑥实验操作 比较试验处理前后测验得分的差异 三、准则关联效度 （一）准则（校标）： ——用以显示测验所欲测量的特质的变量，通常以一种测验分数或活动来表示。 如：智力测验以学科成绩、教师评定结果为准则 （二）同时效度与预测效度 据获取准则资料的时间不同，准则关联效度有： 同时效度：准则资料与测验分数同时得到。 预测效度：准则资料在一段时间后才能收集到 同时效度： 主要应用： 常用于评价测量工具诊断被试当前心理特质状态的效果。 如：大学入学考试可用中学成绩作校标 同时效度常用校标： 如：在校的学业成绩、教师的等级评定、临床检查等。 预测效度： 主要应用： 人员选拔、安置类型的测量工具 预测效度常用校标： 如：专业训练成绩、实际工作表现等 预测效度： 评估方法： ①获取被试在当前测量