测验结构效度的评定方法.DOCVIP

测验结构效度的评定方法 ——多特质／多方法的测验设计和统计分析方法 王 权 （作者简介：王权，教授，浙江大学教育学院，浙江杭州，310002。） 摘要：本文首先介绍Campbell和Fiske对测验结构效度的解释、怎样根据结构效度的定义设计测验——多特质／多方法设计、怎样根据多特质／多方法的观测相关矩阵评定结构效度——Campbell-Fiske准则。然后介绍Joreskog针对多特质／多方法的观测数据所创设的CFA模型和Marsh的模型分类方法。最后概要地述说了该CFA模型的拟合度检验和模型参数的解释。 关键词：结构效度 多特质／多方法(MTMM) Campbell-Fiske准则 实证性因素分析(CFA) 众所周知，一份合格的标准化心理测验或教育测验必须具有良好的结构效度。近三四十年来，国际心理和教育测量学界普遍认为Campbell-Fiske多特质／多方法(MTMM)设计和统计分析准则是一种行之有效的评定方法，并得到广泛应用。本文试图对Campbell-Fiske准则的基本思想和方法做一概要介绍。 美国心理测量学家坎贝尔(Campbell)和菲斯克(Fiske)认为，测验的结构效度需要同时用集中效度和区分效度来说明。集中效度是指用不同方法来评定同一特质所得量数之间的一致性；区分效度是指不同特质的区别性；若由某一方法测量不同特质所得量数间的相关高于特质间的真正相关，则就认为该方法存在方法效应。如果测验的集中效度和区分效度是高的，而方法效应又较小，可以忽略不计，这才认为测验有良好的结构效度。“多特质、多方法”(Multitrait-Multimethod，MTMM)数据的实验设计及其相应的统计分析方法是目前评价结构效度的最为广泛使用的一种方法。所谓MTMM设计就是指测验同时测量了两种或更多种心理特质，而且每种特质又都使用两种或更多种方法来测量。例如一份测验要测量Tl、T2、T3三种特质，而且每种特质的测题均有三种题型(表示三种测量方法)：多项选择题Ml、填空题M2、简答题M3，这就是一份3T3M设计的测验。下面介绍MTMM数据的统计分析方法。 一、Campbell和Fiske的方法 Marsh(1988)在研究三种学术概念(T1=数学、T2=词语、T3=一般学业)之间的关系时，各个特质均分别用三种不同方法测量。三种特质与三种方法构成9种不同组合，在每一组合条件下可以获得一组观测数据，共9组数据，它们的相关矩阵如表1所示。这种MTMM矩阵中的相关可以划分成三类：一是用相同方法来评定不同特质所得量数间的相关，它们构成了主对角位置上的3个三角子矩阵(异特质一同方法，HTMM)；二是用不同方法来评定同一特质所得量数间的相关(表中带*号的相关)，即集中效度；三是用不同方法评定的不同特质间的相关(异特质一异方法，HTHM)，即余下的相关。Campbell和Fiske对上述MTMM矩阵从四个方面进行了分析。 (一)集中效度是实质性的。因为所有9个集中效度指数具有统计上的显著性，它们的相关系数在0.54到0.87之间变动，平均相关□=0.70，所以该测验有良好的集中效度。 (二)集中效度高于异特质一异方法相关。全部36个相关系数中的18个异特质一异方法相关的平均数□=0.29，因为异特质一异方法相关低于集中效度(0.70)，表明不同特质间有较大差异，所以有力地支持了区分效度指标。 (三)集中效度高于异特质一同方法相关。全部36个相关中的9个异特质一同方法相关的平均数□=0.35，它低于集中效度(0.70)，这对区分度指标是一种合理的支持。涉及方法M3的特质之间的3个相关(即0.548、0.592、0.135，平均数□=0．44)高于涉及方法Ml和M2的特质间的相关(平均数□=0.28和0.33)。 (四)对于不同的方法，不同特质间的相关的模式是相似的。特质T2与T3之间的所有相关是一致地小，如表2所示，其平均相关r=0.06；而Tl与T2的所有相关如表3所示，其平均相关r=0.42，实质上是相关的；T1与T3的所有相关如表4所示，其平均相关r=0.45，实质上也是相关的。因此也是对本方法的一种支持。 笔者认为Campbell和Fiske方法，虽然是一种描述性的统计分析方法，但他们提出的上述四条分析规则，实际上已经成为其他分析方法的准则。所以现在都将上述分析方法称作Cambell-Fiske准则(guideline)。 二、实证性因素分析方法(CFA方法) (一)MTMM数据的CFA模型 像其他的相关矩阵一样，MTMM矩阵即表l矩阵也可以用因素分析的方法来推断观测变量的构成维度。由同一特质的不同测量所定义的因素蕴涵了特质效应，而由同一方法评定的测量所定义的因素蕴涵了方法效应。由于实证性因