评估与测量的基本方法.pptx

第三章 评估与测量的基本方法 Fundamental Approaches to Psychological Assessment and Measurement 张畅芯 言语听觉康复科学系 言语听觉科学教育部重点实验室 2015-04-16 内容概述 第一节 测量与测验的基本问题 第二节 测验的编制 第三节 项目分析 第四节 常模及分数的解释 第五节 测验的选择与使用 信度与效度 效 度 效度(validity)，又叫做准确性，是指一个测验能够测量到所要测量的心理特质的程度。效度反映调查问卷能否代表设计者的意图，即问卷能否有效地测量各项变量、达到鉴别，评价，预测的目的。 效度的种类包括内容效度、效标关联效度、构想效度。 内容效度 内容效度（Content validity）是指测验中的题目对所要测量的整个内容领域的代表程度。 内容效度高的测验应该具备的条件 所要测量的内容领域界定要明确 测验中的题目应该是所测内容领域的代表性样本，而不是随机取样的样本 内容效度≠表面效度 内容效度 检验内容效度的方法 对所要测量的内容范围进行明确的界定，这是确保测验具有较高内容效度所必须具备的条件之一。 编制双向细目表，把代表性取样的要求用双向细目表的形式体现出来。 分析测验中的每一道题，看它测量了双向细目表中的哪一个方面内容。如果二者的吻合程度高，就表明测验的内容效度高，反之，则表明测验的内容效度低。 写出鉴定报告，说明测验所包含的各类题目的数量及分数比例，以及它对所要测量的内容领域的覆盖率如何。 内容效度的检验方法主要为逻辑分析法。虽然有人曾做过其他的尝试，但是到目前为止，还没有一种成熟的统计方法可以用于估计测验的内容效度。 内容效度主要适用于评价成就测验的质量。 效标关联效度 效标关联效度（criterion-related validity）又叫做实证效度，是指一个测验对处于特定情境中的个体的行为进行诊断或预测时的有效程度。效标关联效度越高，测验对某些行为的诊断或预测就越准确。 要诊断或要预测的行为称为效标（criterion），测验与效标之间的关联程度即为效标关联效度，简称为效标效度。 用来预测个体未来某个行为的测验叫预测源。 根据效标资料收集的时间不同分为 同时效度：实施测验的同时收集效标资料 预测效度：实施测验一段时间之后收集效标资料 预测效度被关注的程度远超过同时效度。 如何确定效标？ 观念效标 是指以一种抽象概念存在于头脑中的效标。 例如，一个人在音乐事业上成功或失败。 效标测量 提现观念效标的具体指标。 例如，一个人参加音乐比赛的获奖情况。 常见的效标测量有 其他标准化测验的分数。 例如：韦克斯勒儿童智力量表、瑞文标准推理测验、斯坦福一比内智力量表、Conner儿童行为问卷、AAMR适应行为量表、卡特尔16种人格因素问卷等测验的分数。 常见的效标测量 其他标准化测验的分数。 韦克斯勒儿童智力量表、瑞文标准推理测验、斯坦福一比内智力量表、Conner儿童行为问卷、AAMR适应行为量表、卡特尔16种人格因素问卷等测验的分数。 学习成绩 教师评定 专门的训练成绩 实际的生活状况或工作表现 选择效标的注意事项 效标测量本身必须是有效的，即效标测量必须能真正地反映观念效标。 效标测量还必须具有较高的信度 效标测量必须排除主观偏见的影响 效标效度的计算方法 受测者 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 16 18 19 20 21 22 智力测验分数 42 53 50 44 51 49 51 38 39 54 52 50 41 43 40 49 46 52 45 47 48 45 数学考试成绩 74 81 85 79 85 80 78 73 60 84 70 83 75 64 56 79 77 74 81 76 72 82 效标效度的计算方法 效度系数表明了预测源与效标的相关程度。 如果效度系数高，则表明预测源与效标之间的相关很高。也就是说，在预测源上得分高的人，在效标测量上分数也高，在预测源上得分低的人，在效标上分数也低。 测验编制及使用者可以根据效度系数来评价和选择测验。一般来说，所求得的相关系数至少要达到统计上的显著性水平。 构想效度 构想效度（construct validity）是指一个测验测量到它要测量的心理特质的程度。 例如，有人编制了一个适应行为量表，要检验它的构想效度，他首先要系统地分析适应行为的组成结构，确定共包括几个维度，每一维度会表现出哪些行为，然后从这些行为中抽取一个样本组成量表。 如果对适应行为的结构分析合理，所测量的行为与各维度有内在的关联性，行为的取样有代表性，那么，这个量表就测量了它要测量的特质，即构想效度高，反之，这个量表的构想效度就很低。 检验构想