人事测评质量分析.pptVIP

* * * * * * * * * * * * * * * * 例题见教材290页。 * 例题见教材290页。 * * * * * * * * 1、属于重测信度分析方法，信度系数r=0.48，相关系数未达到显著水平，因此该次测评的测评分数不太可靠。 2、属于评分者信度分析方法。 3、属于评分者一致性信度分析方法。r=0.81，相关系数达到显著水平，测评结果较为可靠。 * * * * * * * * 内容效度适合于选拔和分类人事测验，因为这类测验内容是实际工作的一个样本，应包含实际工作所需要的技能和知识，通过内容效度的分析来确定测验是否测量了实际工作中需要的知识和技能。 内容效度一般不适用于能力倾向测验和人格测验，因为这类测验不太要求与所取样的行为领域的内在相似性，其测验题目的选择更多的受某种假设的指导。 此外，能力倾向和人格测验与成就测验不同，他们不是建立在某种课程或知识基础上，在对相同的题目做出反应时，每个被试使用的方法和心理过程是很不相同的，同一测验对不同被试来说测量的是不同的心理过程。在这种情况下，不可能从检查测验的内容来确定测验测量的功能。 * * * * * * * * 4、效度的影响因素 一个测验效度的高低，很大程度上取决于该测验受无关因素影响的程度。凡是能造成测验结果误差的因素，都会影响测验效度。 测验题目的质量：难易程度、暗示性、题意表达、试题内容取样的代表性 实施测验时的干扰因素：指导语、计分错误 被试的影响因素：反应定势、测验动机、情绪 测验的长度：增加测验题目往往能增加测验的信度和效度。 5-2-2 效度的评估方法 对测量效度的考察反映在下面两个问题之中： 该测验能够很好的预测我们感兴趣的成绩吗？ 该测验真正测量的是什么？ 第一个问题集中于效标，也就是判断一个测验预测的成功性的标准。这就要求建立测验成绩与那个标准之间的关系。（预测效度） 第二个问题集中于测验，要求明确关于测验所测量目标的内在理论或心理构想。（内容效度） 测验效度不能按笼统的方式去测量，而只能根据测验所考虑的特定用途去测量，在决定是否使用测验时，我们需要了解从已知测验结果做出某种推论的有效性，也就是说，我们是证实测验的有效性，还是证实我们希望对测验结果进行推论的有效性。对于一个特定问题，测量目的决定了所用的效度评定方法，问题是关于使用测验成绩来预测在校标上的成绩，还是关于研究测验实际测量的内容或构想。 1、内容效度content validity 内容效度是一个测验实际测到的内容与所要测量的内容之间的吻合程度，是检查测验内容是否是所预测量的行为领域的代表性取样的指标。如高中物理包括力学、电学、光学、热学以及原子物理学5个方面。 在实际工作中我们编制的测验不可能包含所要测量的行为领域的全部可能的材料或情境，只能选择一个有代表性的样本，通过观察被试对个别题目的反应，来推测他的总体行为表现。 应用范围：主要应用于成就测验、职业选拔测验。不适合能力倾向测验和人格测验。 内容效度的评价可以回答： 该测验是否是应考察的某种技能和知识的代表性样本 测验成绩是否不受无关因素的影响 内容效度对效标参照测验尤为重要，因为在校标参照测验中，被试的表现往往以测验内容来解释。 确定内容效度的方法 蓝图对照分析法：1999年全国硕士研究生入学考试英语试卷结构框架 专家比较判断法：C＝n－N÷2／N÷2（N为专家总数，n为肯定人数） 部分 节 考试内容 试题形式 试题量 分值 权重 考试时间 语法结构与词汇 A 语法填空（单句） 四选一 10 5 20 20% 35 B 语法辨错（单句） 四选一 10 5 C 词语填空（单句） 四选一 20 10 完形填空 完形填空（1篇短文） 四选一 10 10 10% 15 阅读理解 阅读理解（5篇短文） 四选一 20 40 40% 60 英译汉 正确理解英语原文并用汉语表达原文所述内容 五段译文 5 15 15% 30 短文写作 根据所给题目或素材写出叙述、说明或议论性的短文 一篇作文 1 15 15% 40 总计 76 100 100% 180 2、效标关联效度（同时） 效标关联效度又称为效标效度，指测评结果与某种标准结果的一致性程度，反映的是测验分数与外在标准（效标）的相关程度，即测验分数对个体的效标行为表现进行预测的有效性程度。把一组人的测评分数和其绩效分数求出相关就可以得到同时效度 例如一个机械能力倾向测验，其效度的标准（效标）可以是成为机械师之后的表现；对于一个管理能力测验而言，其效标可以是将来从事管理工作的绩效。 效标关联效度往往用于预测性测验，在这些测验中，测验分数一般用于甄选决策，只有当证明测验分数确实能够预测所研究的行为时，这种决策才可能正确。 效标效度的种类 根据效标结果与测评分数获得的时间