第十二章素质测评的质量分析.pptVIP

第十二章 素质测评的质量分析 一项测评是否可靠、可信？ 一项测评是否准确、有用？ 一项测评是否公正、公平？ 一项测评是否经济、合理？ 教学内容 12-1 测评的信度 12-1-1 信度及其影响因素 12-1-2 信度的评估方法 12-2 测评的效度 12-2-1 效度及其影响因素 12-2-2 效度的评估方法 12-3 项目分析 12-3-1 测评的难度分析 12-3-2 测评的鉴别度分析 12-3-3 测评的公平性分析 12-3-4 测评的经济效益分析 12-1 测评的信度 信度是标准化素质测评的基本要求之一，如果测评工具的信度不理想，测量结果就无法被认为能代表应试者的一致、稳定和可靠的行为表现，就可能误导对应试者的评价。 12-1-1 信度及其影响因素 如果我们用一个游标卡尺来测量一个钢管的外直径，每次测量时都难免会有一定的误差。 首先，游标卡尺作为一种测量工具是有一定精度限制的，也就是说，测量工具本身存在误差。当然这种误差是必然存在的，而且误差是在一定范围中有规律的变动的，这种误差在测量工作中被称之为系统误差（systematic error）。 其次，我们每一次测量都可能出现操作上的差异，或者由于不可预见的外界因素的影响，产生测量误差。这些误差是很难控制的，而且无规律可循，有时大有时小，这种误差被称为随机误差（random error）。 前者在一定程度上可以控制，而后者很难控制，一个好的测量工具应该不仅要有尽可能高的精确度（与系统误差相关），还能够把误差控制在一个有规律的范围以内，这样才能够得到稳定可信的测量结果。信度实际上就是对随机误差的一种度量。 1、信度的概念 信度（reliability）信度是标示测验一致性高低的统计指标。主要指测量结果的可靠性、稳定性和一致性，可以定义为测验结果不受测验情境或测验过程中无关变量影响的程度。实际上就是指测验分数不受测量误差影响的程度。可以指出测验出的个体差异在多大程度上是真正的差异，又在多大程度上是由于随机误差造成的。 随机误差越大，信度就越低。反之，信度就越高。 通常任何测验都存在某种程度的不一致性（同一受试者在不同时间或在不同的测验条件下做同一测验） 因为误差的存在，我们永远不可能完全揭示人的心理特点，只能无限接近真实分数。 所有测验都有误差，心理测验分数也不例外。如果一个人连续两天接受同一测验，或者完成同一测验被认为是等值的两个版本，如果得分相同会让人感到惊讶，如果分数有相当大的变化可能让人吃惊，但是有一点可以肯定，这是由于偶然或随机因素影响了每次测验的成绩。 然而，对于儿童，如果同一测验在半年或一年之后测第二遍，分数有很大的差异是不足为奇的，因为他们的成长导致测验成绩的变化非常自然。问题将是确定有多少变化是由于成绩的随机变化引起的，又有多少可以归因于个人在这段时间内所发生的变化。 在研究信度时，主要应考虑两方面的问题： 测量结果的稳定性： 测验分数一致性的程度（不同时间、测验条件下所得分数之间的一致性） 一个人获得分数与“真实分数”之间的接近程度 测量结果的一致性是否达到实际应用的程度 影响稳定性的原因： 什么因素造成了这种差异（误差的来源） 这些效应的相对作用如何（分数的实际含意） 信度的计算：信度系数 信度指标的一般公式：测验分数 = 真实分数 + 测量误差 或者： X = T + e 信度的高低通常以相关系数表示，称为信度系数（reliability coefficient）。信度系数一般是同一样本所得的两组资料的相关，因此有： 测验分数方差 = 真实分数方差+ 误差分数方差 ?X2 = ?T2 + ?e2 信度系数： rxx= ?T2 / ?X2 = ?T2 / （ ?T2 + ?e2 ） 信度系数即是真实分数方差（变异数）与测验分数总方差（变异数）之比。 2、信度的作用 测验信度要能够区分出： 导致一致性的因素： 个体稳定的特性（测量对象） 导致不一致性的因素： 可能影响测验，但又与测验对象没有关系的个体和环境的特性 在素质测评中，对信度系数进行确定通常有以下作用： 解释真实分数与实得分数之间的相关 说明可以接受的信度水平 解释真实分数与实得分数之间的相关 信度可以解释为总的方差（标准差的平方的缩略语）中有多少比例是由真实分数的方差决定的，即测量分数的变化中有多少是真正反映了被测者分数的变化。 例如：当rxx = 0.90时，我们可以说，实得分数中有90%的方差是来自真实分数的变化，仅有10%是来自测量的误差。 信度系数的分布是从0.00-1.00的正数范