测验质量分析.ppt

感谢大家观看第63页,共63页，星期六，2024年，5月例如：三位教师评四份试卷，所评等级如下表，问该测验的评分者信度如何？教师试卷1234A3142B2141C2232Ri74115第31页,共63页，星期六，2024年，5月第32页,共63页，星期六，2024年，5月第33页,共63页，星期六，2024年，5月第34页,共63页，星期六，2024年，5月（5）查表，检验W的显著性因为，K=3，N=4时，临界值S0.05≈64.4，由于S＜S0.05，所以，W不显著性，即表明三位教师的评分者信度较低。（K在3——20之间，N在3——7之间时，查附表5求临界值S0.05或临界值S0.01；若N＞7，检验W的显著性用χ2=K（N-1）W，按df=N-1查χ2值表进行比较。）参考书目：1.王汉澜主编《教育测量学》2.宋岭梅主编《教育测量学》第35页,共63页，星期六，2024年，5月四、影响信度的因素被试样本的影响。题目数量的影响。测验难度的影响。测验内容同质性的影响。评分客观性的影响。第36页,共63页，星期六，2024年，5月

第四节测验的效度

一、效度的概念效度是测验能实际测量出其所要测量特性的程度。二、效度的统计学原理rxy=S2v/S2X式中，S2v潜在真分数方差；S2x实得分数方差。有关系式：X=T+E=V+I+E其中，V为潜在真分数；I为系统误差。第37页,共63页，星期六，2024年，5月三、估计效度的方法1．内容效度(Contentvalidity)内容效度指的是测验题目对有关内容或行为取样的适当性。（1）专家判断法采用专家判断法可以按下面的步骤进行：①定义好内容总体的范围；②确定考查内容或行为的细目；③列出双向细目表；④制订评定量表。第38页,共63页，星期六，2024年，5月（2）统计分析法统计分析法又称克龙巴赫估计法。克龙巴赫曾提出估计内容效度可以从同一教学内容范围的总体中抽取两套独立的测验试题，这两套测验试题对同一组考生分别进行两次测验，如测验得分求得的相关系数高，就可推论内容效度高；若相关系数低，这两套试题中至少有一套测验试题缺乏内容效度。第39页,共63页，星期六，2024年，5月（3）再测法这种方法是，先对一组考生进行先期测验，这一组学生必须是对测验的内容知之甚少，然后对这一组学生进行有关内容的教学与训练活动，经过一段学习时间后，再进行后期测验，这样可以看出测验是否测量出深堂上所进行的教学与训练的效果。如果后期测验成绩好，就说明该测验对课程内容范围是有效的。第40页,共63页，星期六，2024年，5月2.效标关联效度(Criterionrelatedvalidity)效标关联效度指的是测验分数与效标分数之间的一致性程度。效标（criterion)。效标实际上是指本测验所想测量或要预测的特性和功能。效标关联效度分为两种：效标与本测验分数同时获得的，称为同时效度或并存效度(concurrentvalidity)；效标在本测验之后相当时间获得的，称为预测效度(predictivevalidity)。第41页,共63页，星期六，2024年，5月预测效度和同时效度有两点区别：(1)从进行本测验到获得效标的间隔时间不同。同时效度的效标测验几乎与本测验同时举行；预测效度的效标则在本测验之后相当长的时间(几个月，到几年）才获得。(2)目的和作用不同。同时效度主要用来查明自编测验的效度，以便有效地研制和使用新测验；预测效度主要用来评价本测验的预测能力。第42页,共63页，星期六，2024年，5月估计效标关联效度的主要方法有：（1）相关法它是以相关系数作为效度系数（validitycoefficient）的估计值。第43页,共63页，星期六，2024年，5月（2）命中率法当测验是用作决定取舍标准的根据时,其有效性的指标可以看作正确决定的比例，该比例越高，说明测验越有效。①取舍的正确性一般各级学校的招生考试或各企事业单位选聘人员的录取聘用，都可以采用这种方法。为了得到取舍正确性指标，必须将原测验分数与效标资料都采用二值划分，这是最简单的一种划分方法。第44页,共63页，星期六，2024年，5月例如，原测验分数可以分成录取和不录取两类，效标资料可分为成功与失败两类，这样全部被试可分为四个组，如下表所示：效标成绩失败成功测验成绩录取失误(A)命中(B)不录取命中(C)失误(D)第45页,共63页，星期六，2024年，5月第46页