信度和效度测量.pptVIP

信度和效度测量 第1页，共38页，编辑于2022年，星期二 测量理论 信度 效度 信度与效度的关系 信度与效度的分类及Stata计算 信度与效度的影响因素 提高信度与效度的途径 主要内容 第2页，共38页，编辑于2022年，星期二 测量理论 第3页，共38页，编辑于2022年，星期二 信度(Reliability) 正如很多教科书所说：信度是指测试方法不受随机误差干扰的程度，反映测试结果的一致性和稳定性(consistency, and stability)。 第4页，共38页，编辑于2022年，星期二 效度(Validity) 它反映测试的准确性(accuracy)，即在多大程度上测量了想要测的内容。 T 第5页，共38页，编辑于2022年，星期二 信度和效度的关系 可以证明： 第6页，共38页，编辑于2022年，星期二 总而言之，信度和效度相互排斥又相互依存；没有信度就不可能有效度；没有效度，信度就毫无意义；高信度可能带来低效度；高效度也可能带来低信度。 举例来说 第7页，共38页，编辑于2022年，星期二 信度分类及计算 信度主要分为四大类： 重测信度(Test-retest Reliability) 复本信度(Alternate-form Reliability) 内部一致性系数(Internal Consistency Reliability) 评分者信度(Scorer Reliability) 第8页，共38页，编辑于2022年，星期二 重测信度——kappa系数 重测信度反映两次测量结果的相关程度。对于分类变量，可采用Cohens kappa系数来测量： B A 好 坏 合计 好 20 5 25 坏 10 15 25 合计 30 20 50 第9页，共38页，编辑于2022年，星期二 将上表恢复为原始数据集后，采用Stata的kappa命令可得如下结果： Kappa 系数大于0. 75 表示重测信度很好, 在0. 4 ～ 0. 75 表示较好,而低于0. 4 表示较差。如果结果显示某个问卷(量表)项目的Kappa 系数低于0. 4 , 则要考虑修改或删除该项目。 第10页，共38页，编辑于2022年，星期二 重测信度——ICC系数 对于连续变量，可采用Ronald Fisher(1954)提出的ICC (Intraclass Correlation Coefficient )系数来测量： 两种相关系数的本质区别在于均值和方差计算不同。在计算连续变量的重测信度时，应采用rFisher系数更准确。 一般来说, ICC 大于0. 75 表示极好, ICC 在0. 6 ～0. 75 表示较好。 通常的相关系数： 第11页，共38页，编辑于2022年，星期二 Stata命令： For rpearson corr var1 var2 For rFisher loneway var1 var2 第12页，共38页，编辑于2022年，星期二 复本信度 复本信度是指用母本和复本两次等值测评结果的一致性程度。它的计算与重测信度相似，即计算母本和复本测评数据的相关性。当测评结果为分数或数值时，用rPearson法或rFisher计算；当测评结果为等级或名次时，用斯皮尔曼等级相关系数 (Spearman Rank Correlation)。这些方法的适用性和差异见下表： 第13页，共38页，编辑于2022年，星期二 从表中数字可以看出，工人的考试成绩愈高其产量也愈高，二者之间的联系程度较一致，rPearson=0.691；并不算太高，这可能由于它们之间的关系并不是线性的。 如果分别按考试成绩和产量高低变换成等级(见上表第3、4列)，则可以计算它们之间的斯皮尔曼等级相关系数为1。计算斯皮尔曼等级相关系数可以将数据变换成等级以后用原有的相关系数公式计算，也可以先算出每一对样本的等级之差di，结合样本量n；再用下列公式计算： 上例中由于等级完全一致，所有di = 0，所以r-spearman rank =1 。 第14页，共38页，编辑于2022年，星期二 Stata命令： For r-spearman rank spearman var1 var2 第15页，共38页，编辑于2022年，星期二 内部一致性系数——折半信度 第16页，共38页，编辑于2022年，星期二 第17页，共38页，编辑于2022年，星期二 内部一致性系数——Cronbach系数 Cronbach’s α系数越大表示问卷项目间相关性越好, 内部一致性信度越高。一般而言,α大于0. 8 表示内部一致性极好,α在0. 6 ～ 0. 8 表示较好,而低于0. 6 表示内部一致性较差。在实际应用上,Cronbach’s α值至少要大于0. 5 ,最