第十一章-人员素质测评质量分析.ppt

第十一章 素质测评的质量分析 目录 效度 信度 项目分析 其他分析方法 第一节 效度 测评的效度就是指测评的有效性，即能测评到所要测评目标的程度。效度是评价测评好坏、选择测评的重要标准之一。 效度的作用比信度的作用更为重要。强调测评目标、工具与测评对象的统一。 一、人员测评的有效性 效度的理论定义：与测评目标有关的真实分数方差与总分方差的比率。 公式： 效度的性质 实际上效度指的是“测评结果的效度”，是指测评结果的准确性程度，而并不是指测评本身。也反映了测评结果对测评目标的体现程度。 二、如何评估人员测评的效度 （一）内容效度 1、内容效度是指测评内容取样是否反映测评的目标，适用于测评对象。 2．内容效度的评估方法 ·测评内容范围明确； ·测评内容的取样有代表性。 采用如下步骤： 1）确定总体范围； 2）编制双向细目表； 3）制定评定量表。 还可采用经验的方法、统计分析方法。 3．内容效度的应用 内容效度最适合于评估教育和职业成就测评。 也适合于某些用于人员选拔和分类的测评。 （二）效标关联效度 效标关联效度，也称效标效度，它反映的是测评分数与外在标准（效标）的相关程度，即测评分数对个体的效标行为表现进行预测的有效性程度。 效标是考察测评效用的外在参照标准。效标关联效度往往用于预测性测评。 1．预测效度和同时效度 预测效度的效标资料往往是测评结束后隔一段时间才获得，它反映被试行为表现的预测程度。 同时效度的效标材料可以和测评分数差不多同时搜集。 同时效度多用于诊断现在的状态，预测效度多预测未来的结果。 如：1）“某人成功了吗？” 2）“某人会成功吗？” 2．效标和效标测评 效标是衡量测评有效性的参照标准。 把效标转化为某种可以操作的测评指标，称为效标测评。 效标可以细分为观念效标（即效标的实质概念内容）和效标测评（即效标的具体度量方法）。例如，对于筛选销售人员的观念效标是“销售工作的成功” ，而效标测评是“年销售量” 。 3．常用的效标 （1）学术成就 （2）特殊训练成绩 （3）实际工作表现 （4）团体对照 （5）等级评定 （6）先前有效的测评 （三）构想效度 构想效度是指测评能够测评到理论上的构想或特质的程度。所谓构想通常指一些抽象的、假设性的概念或特质，如智力、创造力、言语流畅性、焦虑等。 1．确定构想效度的步骤 ·建立理论框架，以解释被试在测评上的表现； ·依据理论框架，推演出各种有关测评成绩的假设； ·以逻辑和实证的方法来验证假设，根据累积材料决定这种理论是否能恰当地解释现有材料；如果不能做出恰当解释，则应该修正上述假设，直到能做出恰当的解释为止。 如：创造力测评构想效度。以测评分数与根据创造力的心理学理论观察被试行为所做出的判断做相关分析。 2．常见的确定构想效度的指标 （1）发展变化 （2）与其他测评的相关 （3）因素分析 因素分析是分析行为资料内部关系、结构特性的一种统计技术。 （4）内部一致性 如果测评的所有题目被验证为具有很高的内部一致性，说明它们都是关于同一内容的，属于同一种构想。 用来考察内部一致性的方法主要有三种： 1）考察总分数较高和较低两类人在各 题目上通过率的大小 ，如果通过率低，应淘汰或修改。 2）计算题目与总分的相关，如未达显著水准，应予淘汰。 3）求分测评与总分的相关。各分测评与总分有显著相关，如果不是，则应予删除。 （5）会聚效度和区分效度 会聚效度：测评与测评相同特质或构想等理论上有关的变量高相关； 区分效度：测评与测评不同特质或构想等理论上无关的变量低相关。 如，一个数学推理能力测评与数学课成绩的相关就是会聚效度；而该测评与阅读理解能力测评的相关显著低，就是区分效度。 三、影响效度的因素 测评本身带来的影响因素 1．测评题目的质量 2．实施测评时的于扰因素 3．被试的影响因素 4．测评的长度 样本团体的性质 效标的性质 如果其他条件相同，所测评的行为或心理特质与效标行为或特质越相似，效度系数就越高。 第二节 信度 一、信度的定义 信度主要是指测评结果的可靠性或一致性。 由测评工具