chapter4-reliability效度.ppt

* THY, CCNU * 评分者信度 Interscore / Interrater Reliability 多个评分者给一组测验结果评分，所得分数之间的一致性程度。 最常见的方法是两个人对一定数量受测者的反应进行评价；然后计算两列分数之间的相关；也可以让多个人对一个受测者的反应进行评价；还可以让多个人同时对多个受测者的反应进行评价。 * THY, CCNU * 评分者信度的计算 如果是两个评分者，则采用积差相关或等级相关的方法。 如果是多个评分者，则采用肯德尔和谐系数来估计。 计算举例 如有A、B、C三位专家给6位应聘者的面试评分，结果如下，试求评分者信度。 ? A B C 1 75 66 45 2 90 72 60 3 81 63 54 4 60 60 42 5 84 75 63 6 96 90 66 　 A B C Ri 1 5 4 5 14 2 2 2 3 7 3 4 5 4 13 4 6 6 6 18 5 3 3 2 8 6 1 1 1 3 由题意知 K=3, N=6, 将上述值代入公式有: 如果在评定中有相同的等级时，用下式校正。其中n为相同等级的个数 * THY, CCNU * 小结 重测信度：估计测验中跨时间的一致性 复本信度：估计测验中跨形式的一致性 内在一致性信度：估计测验中跨项目或两个分半测验的一致性 评分者信度：估计测验中跨评分者的一致性 * THY, CCNU * 影响信度的主要因素(1) 分数分布范围 克莱(Kelly)公式 例 * THY, CCNU * 克莱(Kelly)公式应用举例 一记忆力测验实施于某市全体初中生，其分数的标准差为10，信度系数为0.90；若将该测验施测于初二年级，其分数标准差为6。求初二年级的信度系数估计值。 * THY, CCNU * 影响信度的主要因素(2) 测验的长度 测验A：只有一道题：2+4= 测验B：1+1= ；3+3= ；4+4= ；5-3= ；2+4= 等30道题 哪份测验的信度更高？ * THY, CCNU * 测验长度与信度的关系 测量长度 信度系数 ? 测量长度 信度系数 5 0.20 ? 160 0.89 10 0.33 ? 320 0.94 20 0.50 ? 640 0.97 40 0.67 ? ∞ 1.00 80 0.80 ? ? ? * THY, CCNU * 测验长度与信度关系举例(1) 如由50题组成的儿童心理学测验，其信度系数为0.72，若再增加30个与原测验难度相近且同质性的题目，问长度增加后的测验系数是多少？ * THY, CCNU * 测验长度与信度关系举例(2) 某一测验有12个项目，信度是0.60,问测验应增加到多少个项目,才能使信度达到0.90? 6×12=72 所以题目增加到72个,才能满足要求。 测验的难度 * THY, CCNU * 提高测验信度的方法 适当增加测验的长度 使所有题目的难度接近正态分布 努力提高测题的区分度 选取恰当的被试团体 主试严格执行实测规程 * THY, CCNU * 信度的作用 评价测验：信度是测量过程中存在的随机误差大小的反映 解释个人分数的意义 比较不同测验之间的分数差异 * THY, CCNU * 信度的作用之“计算测验分数的误差”(1) 如果选用95%的可靠性要求（置信水平），Z0.95=1.96，那么，真分数就有95%的可能性落在 的范围内，即 * THY, CCNU * 信度的作用之“计算测验分数的误差”(2) Question 已知WISC-R的标准差为15，信度系数为0.95，对一名12岁的儿童实施该测验后，IQ为110，那么他的真分数在95%的可靠度要求下，变动范围是多大？ * THY, CCNU * 续 * THY, CCNU * 信度的作用之“用于两种测验分数的比较” 韦氏智力测验中，某人的VIQ=115，PIQ=106，其中言语测验的信度系数为.94，操作测验的信度系数为.90，在.05水平上，试问其言语智商是否显著优于操作智商? * THY, CCNU * 信度的作用之“用于两种测验分数的比较” 个体间存在差异的一个首要原则就是，两个人在同一个测验上分数之差必须是测量标准误的两倍以上才能被认为是有差异的。 另一方面，同一个人在两个测验上得分之差也必须超过两个测验中较大的测量标准误的两倍，才可以解释为有显著差异。这是因为两种测验所得分数之差的标准误总是大于任何一种测验的测量标准误。 * THY