3 测量效度与系统误差控制.pptVIP

第三章 测量效度与系统误差控制 张海霞 第三章 测量效度与系统误差控制第一节 测量效度概述 效度所要回答的问题：(1)测验测量的是什么？(2)对它所测量的东西测量到什么程度？ 一、效度的概念 CTT认为，效度(validity)是指一个测验或量表实际能测出其所要测的心理特质的程度 第三章 测量效度与系统误差控制第一节 测量效度概述 （一） 对效度概念的理解 1 效度是一个相对的概念： (1)效度是相对于一定的测量目的而言的 一个测验或量表是否有效主要看它是否达到了测量目的，测量某一特质有效的量表，若用来测另一特质，则必然无效或效度低。 (2)心理测验只能达到某种程度上的准确。 第三章 测量效度与系统误差控制第一节 测量效度概述 （一） 对效度概念的理解 2 效度是测量的随机误差和系统误差的综合反映。 随机误差大时，实测结果会偏离真值，造成结果的不准确。若测验中还存在系统误差，则系统误差会加大测验误差。 3 判断一个测量是否有效要从多方面收集证据 可以从理论上，也可以从实践上获取测验效度。 第三章 测量效度与系统误差控制第一节 测量效度概述 （二） 效度的数学定义及其基本原理 回顾前面介绍的CTT的内容： 一组测验分数的总变异(σ2X)包括三部分： 真实的（稳定的）、与测量目的有关的变异(σ2V) 真实的、但出自无关来源的变异(σ2I) 随机误差的变异(σ2E) 第三章 测量效度与系统误差控制第一节 测量效度概述 （二） 效度的数学定义及其基本原理 三者关系如下： σ2X= σ2V + σ2I +σ2E CTT将测量效度定义为：在一列测量中，与测量目的有关的真实变异数（由所要测量的变因引起的有效变异数）与总变异数（实得变异数）的比率 。 val.= σ2V /σ2X=r2XY 第三章 测量效度与系统误差控制第一节 测量效度概述 二、效度与信度的关系 根据公式σ2X= σ2V + σ2I +σ2E ，可以得到信度与效度的关系如下： （一）信度高是效度高的必要而非充分条件。 当σ2E减小时， σ2T增加，测验信度随之提高，信度的提高只给σ2V的增加提供了可能，还要看σ2I的大小。 信度高效度不一定高，效度高则信度一定高； 信度低，效度不可能高，效度低，信度有可能高。 第三章 测量效度与系统误差控制第一节 测量效度概述 二、效度与信度的关系 （二）测验的效度受它的信度制约,效度以信度为上限。 根据r2XY =σ2V / σ2X rXX =σ2T / σ2X σ2T= σ2V + σ2I 可得 r2XY ＜rXX 效度值总是小于信度值 第三章 测量效度与系统误差控制第二节 测量工具效度验证方法 一、 内容效度 二、实证效度 三、结构效度 第三章 测量效度与系统误差控制第二节 测量工具效度验证方法 一、内容效度 （一）含义及应用范围 1 内容效度(content related validity)，又称内容关联效度，是指一个测验实际测到的内容与所要测量的内容之间的吻合程度，也即测验项目在多大程度上表示了所要测定的特征范畴。 如，如果要从一批待业人员中挑选机床工，所用的测验项目就应该能表明机床操作能力的范畴。 第三章 测量效度与系统误差控制第二节 测量工具效度验证方法 一、内容效度 （一）含义及应用范围 2 内容效度通常包括欲测的知识范围，以及该范围内各知识点所要求掌握的程度两个方面。一般以双向细目表的形式呈现。 双向细目表是一个测量的内容材料维度和行为技能所构成的表格，它能帮助成就测量工具的编制者决定应该选择哪些方面的题目以及各类型题目应占的比例。 第三章 测量效度与系统误差控制第二节 测量工具效度验证方法 一、内容效度 （一）含义及应用范围 2 要想使测验的内容效度高，必须有两个条件： （1）内容的范围或行为总体必须界定明确； 如我们首先要分析考题是否有效地覆盖了中学物理所包括的五个方面 （2）测验题目应该是所界定的内容范围的代表性样本。 分析题目的难度等指标是否较好地反映了考试大纲中对5个方面能力水平的要求。 第三章 测量效度与系统误差控制第二节 测量工具效度验证方法 一、内容效度 （一）含义及应用范围 3 内容效度的应用 成就测验 （主要测量被试掌握某种技能或学习某门课程所达到的程度） 教育测量中的标准(目标)参照测验 职业测验（测量实际工作所需要的知识和技能） 不适合用于能力倾向测验和人格测验 第三章 测量效度与系统误差控制第二节 测量工具效度验证方法 一、内容效度 （一）含义及应用范围 4 内容效度与表面效度 表面效度(surface validity) ：指一个测验看起来好像是测量所要测的东西的程度。不是一种客观指标，但会影响被试测验动机。 适当的表面效度 最佳行为测验表面效度高，其