第九章测验质量分析.pptVIP

②有重复评定等级的W系数 式中： n是相同等级的个数。 第三十页，共六十四页。 例如：三位教师评四份试卷，所评等级如下表，问该测验的评分者信度如何？ 教师 试卷 1 2 3 4 A 3 1 4 2 B 2 1 4 1 C 2 2 3 2 Ri 7 4 11 5 第三十一页，共六十四页。 解题步骤：（1）先计算ΣRi和ΣRi2 ΣRi=7+4+11+5=27 ΣRi2 =72+42+112+52=211 （2）计算S 第三十二页，共六十四页。 （3）计算ΣT 第三十三页，共六十四页。 （4）代入公式W 第三十四页，共六十四页。 （5）查表，检验W的显著性 因为，K=3，N=4时，临界值S0.05≈64.4， 由于S＜S0.05，所以， W不显著性，即表明三位教师的评分者信度较低。 （K在3——20之间，N在3——7之间时，查附表5求临界值S0.05或临界值S0.01；若N＞7，检验W的显著性用χ2=K（N-1）W，按df=N-1查χ2值表进行比较。） 参考书目：1.王汉澜主编《教育测量学》 2.宋岭梅主编《教育测量学》 第三十五页，共六十四页。 四、 影响信度的因素 被试样本的影响。 题目数量的影响。 测验难度的影响。 测验内容同质性的影响。 评分客观性的影响。 第三十六页，共六十四页。 第四节 测验的效度 一、效度的概念 效度是测验能实际测量出其所要测量特性的程度。 二、效度的统计学原理 rxy=S2v/ S2X 式中，S2v潜在真分数方差； S2x实得分数方差。 有关系式：X=T+E=V+I+E 其中，V为潜在真分数；I为系统误差。 第三十七页，共六十四页。 三、估计效度的方法 1．内容效度(Content validity) 内容效度指的是测验题目对有关内容或行为取样的适当性。 （1）专家判断法 采用专家判断法可以按下面的步骤进行： ①定义好内容总体的范围； ②确定考查内容或行为的细目； ③列出双向细目表； ④制订评定量表。 第三十八页，共六十四页。 （2）统计分析法 统计分析法又称克龙巴赫估计法。克龙巴赫曾提出估计内容效度可以从同一教学内容范围的总体中抽取两套独立的测验试题，这两套测验试题对同一组考生分别进行两次测验，如测验得分求得的相关系数高，就可推论内容效度高；若相关系数低，这两套试题中至少有一套测验试题缺乏内容效度。 第三十九页，共六十四页。 （3）再测法 这种方法是，先对一组考生进行先期测验，这一组学生必须是对测验的内容知之甚少，然后对这一组学生进行有关内容的教学与训练活动，经过一段学习时间后，再进行后期测验，这样可以看出测验是否测量出深堂上所进行的教学与训练的效果。如果后期测验成绩好，就说明该测验对课程内容范围是有效的。 第四十页，共六十四页。 2.效标关联效度(Criterion related validity) 效标关联效度指的是测验分数与效标分数之间的一致性程度。 效标（criterion)。效标实际上是指本测验所想测量或要预测的特性和功能。 效标关联效度分为两种：效标与本测验分数同时获得的，称为同时效度或并存效度(concurrent validity)；效标在本测验之后相当时间获得的，称为预测效度(predictive validity)。 第四十一页，共六十四页。 预测效度和同时效度有两点区别： (1)从进行本测验到获得效标的间隔时间不同。同时效度的效标测验几乎与本测验同时举行；预测效度的效标则在本测验之后相当长的时间(几个月，到几年）才获得。 (2)目的和作用不同。同时效度主要用来查明自编测验的效度，以便有效地研制和使用新测验；预测效度主要用来评价本测验的预测能力。 第四十二页，共六十四页。 估计效标关联效度的主要方法有： （1）相关法 它是以相关系数作为效度系数（validity coefficient）的估计值。 第四十三页，共六十四页。 （2）命中率法 当测验是用作决定取舍标准的根据时,其有效性的指标可以看作正确决定的比例，该比例越高，说明测验越有效。 ①取舍的正确性 一般各级学校的招生考试或各企事业单位选聘人员的录取聘用，都可以采用这种方法。为了得到取舍正确性指标，必须将原测验分数与效标资料都采用二值划分，这是最简单的一种划分方法。 第四十四页，共六十四页。 例如，原测验分数可以分成录取和不录取两类，效标资料可分为成功与失败两类，这样全部被试可分为四个组，如下表所示： 效 标 成 绩 失败 成功 测 验 成 绩 录取 失误(A) 命中(B) 不录取 命中(C) 失误(D) 第四十五页，共六十四页。 第九章 测验质量分析 [本章提