第十二章 素质测评质量分析.pptVIP

第十二章 素质测评的质量分析;;12-1 测评的信度;12-1-1 信度及其影响因素;1、信度的概念;所有测验都有误差，心理测验分数也不例外。如果一个人连续两天接受同一测验，或者完成同一测验被认为是等值的两个版本，如果得分相同会让人感到惊讶，如果分数有相当大的变化可能让人吃惊，但是有一点可以肯定，这是由于偶然或随机因素影响了每次测验的成绩。 然而，对于儿童，如果同一测验在半年或一年之后测第二遍，分数有很大的差异是不足为奇的，因为他们的成长导致测验成绩的变化非常自然。问题将是确定有多少变化是由于成绩的随机变化引起的，又有多少可以归因于个人在这段时间内所发生的变化。;测量结果的稳定性： 测验分数一致性的程度（不同时间、测验条件下所得分数之间的一致性） 一个人获得分数与“真实分数”之间的接近程度 测量结果的一致性是否达到实际应用的???度 影响稳定性的原因： 什么因素造成了这种差异（误差的来源） 这些效应的相对作用如何（分数的实际含意）;信度的计算：信度系数;2、信度的作用;解释真实分数与实得分数之间的相关;说明可以接受的信度水平;几种心理测验的信度系数;3、信度的影响因素; 受试者个体短时而特殊的特性 对特殊测验的理解，测验所需要的特殊技巧；为做测验所进行的练习； 对测验项目内容的注意、记忆等的飘忽不定。 影响测验过程和解释的外部因素系统改变 测验条件；对测验的各种限制；干扰程度；指示语的清晰度； 受试者在个性、性别、种族等与测验主试的交互作用； 对测验结果的不一致或有偏差的评判。 无法解释的变化（随机因素） 猜测、运气，以及暂时的干扰;12-1-2 信度的评估方法;1、重测信度(test-retest reliability);在日常生活中，你也许常常到市场上去买东西。如果你买了5斤瘦肉后觉得比上次少了点，没有那么重，那么你可以自己再用称称一下。如果也是5斤，那么你可能就会觉得确实有5斤。这是因为两次称得的结果完全一致，变异度为0。 人的素质测评没有这么简单，因为素质本身又是无法精确定义，因而我们常常把对个体测评结果的准确性检验，置于群体测评结果的相互关系之中，转化为两次位置关系的一致性分析。当同一对象的测评结果以同样的测评方式再次获得后，其顺序位置关系变异很小时，则说明测评结果比较准确。 例如：在技能测评中A分数88，在全体被测者中排名第一。这是否可靠可信？我们可以再测一次，结果A分数95，还是排名第一，而且其他被测的位置顺序变化很小。这时我们可以说第一次的技能测评结果是可靠的（信度高）。;重测信度的考察对象;应用重测信度应注意：;2、复本信度(alternative-form reliability);优点： 能够避免重测信度的一些问题，如记忆效果、练习效应等； 适用于进行长期追踪研究或调查某些干涉变量对测验成绩的影响； 减少了辅导或作弊的可能性。 缺点： 如果测量的行为受练习的影响，复本信度只能减少而不能消除这种影响； 有些测验的性质会由于重复测量而发生改变，例如某些问题解决型的测验，如果掌握了解题原则就有可能产生迁移，尤其当复本只是在题目具体内容上有改变时，这种正迁移的作用会很强； 有些测验很难找到复本。;3、一致性信度Consistency Reliability;一致性信度的作用;一致性信度应用实例;一致性信度的计算方法;4、评分者信度（raters reliability）;信度小结：;思考题：; 测评项目 被测者;12-2 测量的效度;12-2-1 效度及其影响因素;效度与信度的关系;2、效度的作用;3、效度的影响因素;12-2-2 效度的评估方法;;1、内容效度content validity;;;确定内容效度的方法;;2、效标关联效度criterion-related validity;效标效度的种类;常见效标种类;3、结构效度construct validity;确定构想效度的方法;12-3 项目分析;12-3-1 测量的难度分析;12-3-2 测量的鉴别度分析;12-3-3 测验的公平性分析;12-3-4 测验的经济效益分析;各种测评方法在四项指标上的比较：;测评方法;测评方法;纸笔考试;;测评结果的表示