教育测量的质量指标信度.ppt

被题号试ABCDEΣSi2171181111483.04269789391.363610689392.564811683366.96571181111483.04671181111483.04Σ4062415452例：有一种包含6个论文式题目的测验，对5个应试者施行，得分列入下表，试求该测验的信度。第37页,共47页，星期六，2024年，5月解：1）求每题各应试者得分的方差Si2(见表列)2）求每题各应试者得分的方差之和ΣSi2ΣSi2＝3.04＋1.36＋……＋3.04＝18.653）求所有应试者各自的总分的方差ΣST2（表格最下一行各数据的方差）ST2＝68.964）代入公式（1-14）得信度系数第38页,共47页，星期六，2024年，5月（五）评分者信度要计算评分者评分的一致性系数，需区分评分者的人次数。若为2人评N份试卷，可用斯皮尔曼等级相关的公式计算；若三个人以上的评分者评N份试卷，则需计算肯德尔和谐系数（以W表示）1、斯皮尔曼等级相关公式：第39页,共47页，星期六，2024年，5月例：甲乙两位教师评阅10份试卷，他们对每份试卷各自所评的分数和等级列入下表，问这二位教师评分的一致性如何？试卷得分名次等级之差DD2甲评分乙评分甲名次乙名次ABCDEFGHIJ9490868672706866646193929270827665766860123.53.5567891012.52.5745.595.58100-0.51-3.510.5-22.51000.25112.2510.2546.2510第40页,共47页，星期六，2024年，5月解：1）计算所需统计量：D和D2（见表）；N＝10；ΣD2＝0＋0.25＋1＋12.25＋……＋1＋0＝262）将统计量N和ΣD2代入公式（1-15）答：甲乙两位教师阅卷的一致性系数较高，评分比较可靠。第41页,共47页，星期六，2024年，5月2、肯德尔和谐系数（W）例：10个评委对7位参赛选手所评等级如下表所示，问这10位评委的评分是否具有一致性？第42页,共47页，星期六，2024年，5月选手N＝7评价者K＝7RiRi2123456789100102030405060735234432436676757766545766445411122221124344335635223111132177655765773363501540176210893969250022516002893844ΣRi＝280ΣRi2＝13516第43页,共47页，星期六，2024年，5月分析：从W=0.827来看，10人的评价较为一致。严格地讲，W值是否达到显著性水平，需要做统计假设检验。当K等于3∽20，N等于3∽7时，可根据K和N查“W显著性检验时S的临界值表”进行检验。(见王汉澜教授主编的测量学教材P52页)第44页,共47页，星期六，2024年，5月在进行等级评定时，常会遇到两个或两个以上事物的等级相同，如果遇到这种情况，应采用下面的修正公式：第45页,共47页，星期六，2024年，5月例：三位教师评阅四份试卷，所评等级列入下表，他们所评的等级是否一致？NK作文编号（N＝4）1234张王李314221412232Ri74115解：本题因王老师给两份试卷评了相同等级