第5讲：测验的信度问题(定稿)幻灯片.ppt

第五讲：测验的信度 第五讲：测验的信度 5.1 经典真分数理论 5.2 估计信度的方法 5.3 影响信度的因素 5.4 信度系数的用途 前言 信度即可靠性，是指测量结果的一致性程度。 分数受到测量误差的影响。测量误差有两类，一类是随机误差，另一类是系统误差。随机误差对测验分数的影响的方向是不定的 ，系统误差对分数的影响是稳定的 。随机误差的来源有许多，如猜测、测验环境、评分的错误等。系统误差来源于人的或测验的某些与所测能力无关的因素。 A B C 5.1真分数（true score）模型 5.1.1真分数模型及其基本假设 真分数模型： 对于任何一个观测分数，都可以把它看成是由两部分组成的，一部分是真分数，即被试的真实能力，另一部分是误差分数，即由随机误差造成的分数。这个模型用公式表示就是： X＝T＋E；其中 X是观测分数，T代表真分数，E 代表随机误差。 基本假设一：误差分数是随机的、非系统的，因此它和真分数之间没有相关，即真分数和误差分数是零相关。 基本假设二：对一组被试来说，误差分数的平均分等于零。因为误差的作用有正有反。 基本假设三：两次测量的误差分数之间的相关为零。因为误差是随机出现的，因而两次测量所产生的误差应当是相互独立的，它们之间没有必然联系。 根据三个基本假设，可以推出观测方差中包含了真分数方差和误差的方差： 5.2 估计信度的方法 在真分数模型里，估计信度的方法分为三类，每一类所侧重的误差来源不同。对内部一致性程度的估计，侧重测验自身和评分程序的误差；对稳定性的估计侧重不同时间得出的分数间的一致性；对等价性的估计侧重同一测验的不同形式是否对等。 5.2.1再测信度 概念：同一测验让同一组被试做两次，两次测验中间隔一段时间。计算两次测验分数之间的相关，其相关系数表明该测验随着时间的推移是否保持稳定。 使用再测信度时要注意练习效应和学习效应，注意选择合适的时间间隔。 5.2.2复本信度 复本测验是指在性质、内容、题型、难度等方面都一致的两份或多份测验。同一组被试在复本测验上所得结果的相关系数就是复本信度。 5.2.3 内部一致性信度 内部一致性是指同一测验里的各题目或各部分题目是否测了同一个东西。如果测验的各个题目测的都是同一个东西，这些题目间就有一致性，反之，题目之间则没有一致性。 估计内部一致性信度的方法有很多种，这些方法大致可以归为两类。一类是通过测验两半的相关来估计，另一类是通过题目的方差来估计。 0/1计分测验的内部一致性信度 分半信度： 概念：将每一个被试的测验分数按测题分成两部分计分，然后用每个被试在两半测验上的得分求出整个测验的信度。一般的做法是奇数题为一半，偶数题为另一半。 计算分半信度的方法 （1）Spearman-Brown 预测公式 rxx’= krii’ / 1+(k-1)rii’ 用KR-20公式计算内部一致性信度 K-R即Kuder-Richardson二人的名字缩写 KR-20公式要求题目难度相等或相近。 非0/1计分测验的内部一致性信度 上面的方法只适用估计0/1计分的测验信度。Cronbach 1951发表了题为《Alpher系数和测验内在结构》的文章，提出一个公式，用来计算测验的内部一致性信度，叫Alpher系数。 评分者信度 主观性测验的评分受评分者主观因素的影响而产生误差。因此这类测验的信度是以评分者所评分数之间的相关系数来表示的，故称为评分者信度。 对于一个评分者来说，我们要知道他打出的分数稳定性有多高，这就是评分者内信度（intra-rater reliability）。对于若干个评分者来说，我们需要知道，他们给出的分数一致性有多高，这就是评分者间信度（inter-rater reliability）。 评分者内信度 产生误差的原因：改变了评分标准或对标准的掌握不能始终如一。 方法： 首先要得到两个独立的样本。做法是，对一组被试的表现先由评分者评一次分，然后，还是这组被试，打乱顺序，由这个评分者再评一次分。 接着把这两组样本当做平行测验，计算它们之间的Spearman等级相关，其相关系数就是信度值。 评分者间信度 产生误差的原因：评分标准和对标准的掌握，在不同的评分者之间会不一致。 方法： 若只有2位评分员 可以计算两人所给分数之间的相关，相关系数就是两个评分员所给分数的信度系数。 速度测验的信度估计 从再测信度和复本信度的角度去估计速度测验的信度是比较合适的。 估计复本信度时，可以采用分半时间的办法，即把测验的一半题制作成一份试卷，另一半制作成另一份试卷，每份试卷的答题时间是原答题时间的一半，然后计算被试两份子测验得分的