国内外概化理论的研究成果与现状.docVIP

国内外概化理论的研究成果与现状 芳 李伟明 一、从经典测量理论(CTT)到概化理论(GT) 概化理论( Generalizability Theory，GT)作为现代测量理论之一，是对经典测量理论(Classical Test Theory，CTT)的扬弃。概化理论以其独特的概念体系和理论构想，对测验信度进行了崭新的诠释。 众所周知，传统的CTT对测验误差的分析是粗糙的，CTT的真分数线性模型为X=T+E(观察分数X等于真分数T与误差E之和)，该模型最突出的弱点是无法区分复杂的测验情境中的各类误差，在误差E中包含了类似评定者、测题、测验环境等影响实际测量目标的各种因素；也由于CTT对随机误差的笼统界定，CTT只能获得单一测验条件下的真分数方差在观察分数方差中所占的比例，即一种测量情境下的信度；其次，CTT的测验信度是建立在严格平行测验假设基础上的，即两测验是以相同的程度测量同一心理特质。该平行性可用下列代数式来表示： X=T+E X=T+E E(X) = E(X) σ2 (X)= σ2 (X) 其中，X和X是假设的严格平行测验，两测验观察分数的期望(E)相同，方差(σ2 )也相同。然而，这一理论假设在实际的测验情境中却难以满足。上述弱点限制了经典测量理论的应用。 鉴于CTT存在的不足，测量的理论界和实践领域都呼唤一个全新的测量理论。正是在这样的理论背景之下，20世纪60年代在Cronbach等学者的研究下( Cronbach， Gleser， Rajaratnam， 1963； Cronbach， Gleser， Nanda， Rajaratnam， 1972)，概化理论应运而生，开拓出测量理论的一片新天地。 概化理论针对CTT混淆误差的缺点，借鉴试验设计和分析、方差分量模型的统计工具将测验情境中的各类误差进行分解，相对于CTT，GT最大的改进为：辨明测量情境中的不同误差来源，并实施分解和控制( Shavelson， Webb, 1991)，因此概化理论又称为方差分量模型(variance component model) (Brennan, 2000b)。GT中将测量情境关系分为测量目标(object of measurement)和测量侧面(facet of measurement)。前者是测量所希望描述的研究特质，如衡量学生的阅读理解能力的测验得分；后者是影响和制约测量目标的各种因素和条件(胡显勇，1994)，即具体剖析各种误差构成，例如我们常把测题和评定者作为被试某能力水平的测量侧面。各测量侧面又可细分为许多不同的状态，GT称为侧面的水平(condition)，例如每道测题和每位评定者都对应于相应侧面的一个水平。所有这些测量侧面水平的全体称之为观察全域(universe of admissible observations)。测量侧面分为随机侧面(random facet)和固定侧面(fixed facet)两种，随机侧面指该侧面各水平是从所有可能的水平中随机选取的；而固定侧面的各水平是固定不变的。只有随机侧面才可以推广或概化，为此概化理论模型中至少要含有一个随机侧面。正因为GT模型最显著的特征就是含有随机侧面，所以概化理论的数学模型属于随机效应模型(random effect model)(Brennan,2000b)。 概化理论的理论构架包括G研究( generalizability study)和D研究( decision study )两个阶段。G研究首先确定测量情境关系，提出收集数据的初始测量研究设计，设计类型与方差分析ANOVA(analysis of variance)的设计类型相类似，有交叉设计(cross design)、嵌套设计(nest design)和混合设计(mixed design)。然后，在ANOVA分解误差的思想下，借助ANOVA等方法为观察全域提供方差分量(variance component)估计，即获得测量目标效应、各测量侧面效应以及测量侧面和测量目标的交互效应等的方差。D研究在G研究的基础上，计算初始测量设计下的类信度系数(相对决策下的概化系数Eρ2 ，或绝对决策下的可靠性指标? 系数)。更为重要的是，D研究可以在G研究的测量情境关系范围内，通过改进测量侧面结构、测量模式或样本容量，用方差分量来估计各种改进的测量设计条件下概化系数或? 系数的变化，即提供各种测量设计方案下全域分、误差的估计和设计优劣的信度指标，可探求有效控制误差、提高信度的最佳设计方案，提出最可行的实际测验决策。通常在D研究中修改测量设计方案的途径有三种：变随机侧面为固定侧面(但至少保留一个随机侧面)；变交叉设计为嵌套设计；变更随机侧面的水平数( Shavels