人员测评理论与方法(萧鸣政)测评质量检验课件.pptVIP

测评质量检验一项测评是否可靠、可信？一项测评是否准确、有用？一项测评是否公正、公平？一项测评是否经济、合理？

测评质量检验l测评质量的检测，其内容主要有两个方面：一是分项素质测评结果分析；l二是各项素质的综合结果分析。l分析的指标主要有效度、信度、区分度、独立性

第一节效度l所谓的效度是指测评结果对所测素质反映的真实程度。l考评人员素质测评的效度的方法有三种：l一是从内容性质方面分析其内容效度；l二是从实证方面分析其结构效度；l三是从校标相关性方面分析其关联效度。

1、内容效度contentvalidityl效度即测评结果的有效性程度。l内容效度是指实际测评到的内容与我们所想测评内容的一致性程度。l当实际测评到的内容与我们事先所相测评的内容越一致时，则说明测评结果的内容效度越高，测评结果就越有效。l比如，要测验学生的学习能力，学习能力包括识记、理解、应用、分析、综合以及评价等方面的能力。检测内容效度就可以看测验内容是否反映了这些方面的能力。

l内容效度主要是分析被包括在测评范围之内的所有被测行为样本是否具有代表，代表程度如何。其分析具体为两个方面的检查：l1.是否包括了欲测素质中的各种成分；l2.包括在测评范围内的行为样本的比例结构是否与工作分析的结果相一致。

确定内容效度的方法（定性方法）l蓝图对照分析法：××××年全国硕士研究生入学考试英语试卷结构框架l专家比较判断法：C＝(n－N÷2)／N÷2（N为专家总数，n为肯定人数）

2、结构效度constructvalidityl结构效度也称构想效度、建构效度，是指实际所测评的结果与我们所想测评素质的同构程度，是测验能够测量到理论上的构想或特质的程度，它表明了在多大程度上，实际的测评结果能够被看作是所要测评的素质在结构上的替代物

2、结构效度constructvalidityl构想，通常指一些抽象的、假设性的概念或特质，如智力、创造力、能力倾向、行为习惯、焦虑等。这些构想无法直接测量，具有抽象性。但是每个构想都有其心理上的理论基础和客观现实性，都和具体的可观察的事件相联系，可以通过各种可观察的材料加以确定。?例如言语流畅性可以通过语速、语句间的逻辑性、口误的数量等可观察的指标进行确定。l适用范围：适用于智力测验、人格测验等。

3、关联效度criterion-relatedvalidityl关联效度是指测评结果与某种标准结果的一致性程度。反映的是测验分数与外在标准（效标）的相关程度，即测验分数对个体的效标行为表现进行预测的有效性程度。（效标是用来衡量测评有效性的参照标准。）l例如一个机械能力倾向测验，其标准（效标）可以是成为机械师之后的表现；l对于一个管理能力测验而言，其效标可以是将来从事管理工作的绩效。l效标关联效度往往用于预测性测验。

常见效标种类l学术成就——前提是“智力高的人，学术成就应该越大”。如：在校成绩、学历、研究成果等。l特殊训练成绩——能力倾向测验成绩常用某种特殊训练中取得的成绩做效标。如：言语智商用语文成绩做效标；机械能力用技术培训成绩做效标等。l实际工作表现与成绩。如产品量、晋升速度、劳模表扬情况等。l团体特征——用两个在效标表现上有差别的团体比较他们在预测源分数上的差别。如：一个音乐倾向测验的效度，可以由比较音乐学院学生的分数与一般大学生分数获得。l等级评定结果——必须是由权威的专家或主管人员作出的，或者是广大群众作出的。l先前被证明是有效的测评结果。如用明尼苏打机械性向测验得到的结果。

第二节信度l信度是标准化素质测评的基本要求之一，如果测评工具的信度不理想，测量结果就无法被认为能代表应试者的一致、稳定和可靠的行为表现，就可能误导对应试者的评价。

信度及其影响因素l如果我们用一个游标卡尺来测量一个钢管的外直径，每次测量时都难免会有一定的误差。l首先，游标卡尺作为一种测量工具是有一定精度限制的，也就是说，测量工具本身存在误差。当然这种误差是必然存在的，而且误差是在一定范围中有规律的变动的，这种误差在测量工作中被称之为系统误差（systematicerror）。l其次，我们每一次测量都可能出现操作上的差异，或者由于不可预见的外界因素的影响，产生测量误差。这些误差是很难控制的，而且无规律可循，有时大有时小，这种误差被称为随机误差（randomerror）。l前者在一定程度上可以控制，而后者很难控制，一个好的测量工具应该不仅要有尽可能高的精确度（与系统误差相关），还能够把误差控制在一个有规律的范围以内，这样才能够得到稳定可信的测量结果。信度实际上就是对随机误差的一种度量。

1、信度的概念l信度（reliability）是指是指测评结果反映所测素质的准确性。l通常任何测验都存在某种程