第4讲-信效度教案.ppt

第4讲 信效度分析 赵德成 北京师范大学教育管理学院 zhaodecheng@bnu.edu.cn 1 经典测量理论的基本假设 1.1 心理特质及其可测性假设 心理特质指表现在一个人身上所特有的相对稳定的行为方式。 心理特质的可测性 “凡客观存在的事物都有其数量”（E.L.Thorndike） “凡有数量的东西都可以测量”（W.A.McCall）。 1.2 测量误差及其来源 测量误差（measurement error）：在测量过程中由那些与测量目的无关的 变化因素所产生的一种不准确或不一致的测量效应。 误差种类： 随机误差（random error）（用E表示）：由偶然因素引起又不易控制，它既影响稳定性，又影响准确性。 系统误差（systematic error）（用I表示）：一种恒定而有规律的效应，它只影响稳定性。 测量误差的来源 测量工具 测量对象 施测过程 1.3 真分数及有关假设 真分数：反映被试某种心理特质的真实分数。记为T。 测量分数（观察分数，或原始分数）：指个体在某一测验中获得的分值。记为X。 随机误差：测量分数与真分数之间的差值。记为E。 经典测量理论的模型：X = T + E 若一个人的某种心理特质用平行测验反复测量足够多次，则其观察分数的平均值会接近于真分数。 随机误差分数的平均值等于零。 测量分数的平均值等于真分数的平均值。 真分数和随机误差分数之间的相关是零。 各平行测验上的随机误差分数之间相关是零。 测量分数的方差等于真分数方差与随机误差方差之和。 真分数与系统误差的关系 真分数实际上包含了两个部分，分别是有效分数（V）和系统误差（I）。即T=V+I。 2 信度分析 2.1 什么是信度 指测量结果的稳定性程度，即，依靠测量提供稳定的、非模棱两可的信息的程度。 2.2 经典测量理论对信度的解释 信度乃是一个被测团体真分数的变异数与实测分数变异数之比。 信度乃是一个被测团体真分数与实测分数相关系数的平方。 信度乃是一个测验X（A卷）与它的任意一个“平行测验”X’（B卷）的相关系数。 2.3 信度估计的方法 复本信度（等值性系数） 重测信度（稳定性系数） 内部一致性信度（同质性系数） 评分者一致性信度 标准参照测验的信度：一致百分比法 2.3.1 复本信度（等值性系数） 指用两个平行测验测量同一批被试所得结果的一致性程度，其大小等同于同一批被试在两个复本测验上所得分数的积差相关。 使用条件： 有两份或两份以上，在题目内容、数量、形式、难度区分度、指导语、时限等方面都相同或相似的平行测验。 被试有条件接受两个测验。 2.3.2 重测信度（稳定性系数） 指用同一个量表对同一组被试施测两次所得结果的一致性程度，其大小等同于同一组被试在两次测验上所得分数的积差相关。 使用条件： 所测量的特质必须是稳定的。 遗忘与练习的效果基本上相互抵消。 两次测量间隔期间，被试没有获得相关的学习与训练。 2.3.3 内部一致性信度 指测验内部所有题目之间的一致性程度。包含两层含义：一是所有题目测的是同一种特质；二是指所有题目得分之间都具有较高的正相关。 2.3.3 内部一致性信度 分半信度 指将一个测验分成对等的两半后，所有被试在这两半测验上所得分数的一致性程度。 由于将一个测验分半的方法有很多（按题号奇偶分半、按题目难度分半、按内容分半），所以，同一个测验有多个不同的分半信度值。 2.3.3 内部一致性信度 库德-理查逊信度 指假设采用所有可能的方法分半时所获得的平均信度的估计值。 当所有题目都采用两分法计分时，可采用库李公式20。 当所有题目不仅采用两分法计分，且难度相等时，可采用库李公式21。 2.3.3 内部一致性信度 α系数 当每题得分不是采用两分法计分，不能采用库李公式，要采用alpha系数的计算公式。 使用SPSS软件可简化操作 Analyze——Scale——Reliability analysis 2.3.4 评估者一致性信度 指多个评分者给同一批被试的答卷（反应）进行评分的一致性程度。 2.3.4 评估者一致性信度 指多个评分者给同一批被试的答卷（反应）进行评分的一致性程度。 当评分者为两人时，评分者信度等于两个评分者给同一被试分数的相关系数（积差相关或等级相关）。 当评分者人数多于两个时，可用肯德尔和谐系数进行估计。 肯德尔和谐系数 数据转置：data-transpose Analyze-nonparametric test-K related sample-Kendalls’s W 作文双人评分 教育部要求，各评卷点分学科成立学科评卷小组，组长由具有本学科高级职称的人员担任。高考作文要由2人分别评阅，其他题目一人一提单独评阅。2人给出的分数在评卷小组设定的评分误差范围的，取2人所评分数的平均