9.概化理论.ppt

第十一章 概化理论 考研大纲 概化理论 1．方差分量的估计 2．概化系数与可靠性指数 3．G 研究与D 研究 一、概化理论产生的背景 经典测验理论（Classical Testing Theory， 简称CTT）存在的问题： 在经典测量理论中信度是一组测验分数中真分数方差与观察分数方差的比率，由于误差本身无法直接测量经典测量理论在实际运用中是依据信度操作定义和相关的方法来求解信度系数的，这种方法求解的信度系数往往随测量设计的不同而不同，误差难于控制，也不能有效地分离误差的来源。而事实上，误差变异并非单一的结构，经典测量理论对误差来源的笼统划分与控制成为它在实际应用中最为突出的缺陷。 严格平行测验假设难以真正满足，即要求子测验在内容、均数、变差、信效度方面完全相同。这在实际的测验情景中很难满足。 针对经典测量理论的上述两个缺点，Cronbach，Gleser，Nanda，Rajaratnarn (1972)率先提出了概化理论的基本框架，运用ANOVA(analysis of variance)或MANOVA(multipleanalysis of variance)对方差或协方差分量(variance and covariance component)分解的方法，将测验情景中的各类误差进行分解和控制，实现了对经典测量理论的扩展。 概化理论的基本思想是：任何测量都处在一定的情境关系之中，应该从测量的情境关系中具体地考察测量工作，提出了多种真分数与多种不同的信度系数的观念，并设计了一套方法去系统辨明与实验性研究多种误差方差的来源。 如学生阅读能力测验，其目的是对学生阅读能力的测量，因此，阅读能力就成为测量目标，除此外试题的水平和评分者等因素也会影响测验的总变异。这两个因素就是测量侧面。这里对学生阅读能力的测量是在双侧面情境的条件下进行的。测量侧面中的单个事例叫侧面的水平，如有两个评分者甲和乙，则评分者这一侧面就有两个水平。 测量侧面又分为随机侧面和固定侧面。随机侧面是指测量侧面中所包含的各水平中是类似水平的随机样本，而非固定不变的侧面，如大规模考试中评分者每次都有可能不同，由这样变化的评分者所组成的测量侧面就称为随机侧面。固定侧面是指在各次实施中测量侧面的所在水平一直保持不变的测量侧面，如标准化的心理测验中测验的项目总是一样，这样的侧面就叫固定侧面。因此，进行测验的标准化就是对某些测量侧面进行固定。固定测量侧面可以减少测量误差，但却会使测量目标变得更为局限。比如，把阅读理解题定为对科技说明文，这时，所测的特质就不再是一般的阅读理解能力，而是特定的对科技说明文的理解能力了。这样，测验所得的分数就不能再推广到原来那么宽广的范围了。 另一方面，当测量中考察目的与应用需要改变时，测量目标对象就可能完全转移。比如，当作文考试结果是要对考生作判断时，测量目标就是考生的作文能力，若要把评分严与评分宽的评分者区分开，评分者的能力就成了测量目标，也即测量目标就完全发生了转移。显然，测量目标不同时，标志测量目标的分数也就不同。测量目标在具体关系条件下的分数叫全域分数。这样，有时对同一批测量资料来说，当测量工作的具体关系变化时全域分数也会变。即同一测验资料就可能有多种全域分数。 小结 概化理论是用方差分析的方法来全面估计出各种方差成分的相对大小，并可直接比较其大小。虽然真分数理论也可以分别地估出某一方差成分的大小，如代表试题侧面的内部一致性系数，代表评分者侧面的评分者信度等，正因为是单独估出的，这些值之间不能直接比较，也只有对主效应作估计，而不能对交互作用进行估计。而概化理论却能做到这一点。它既能估计出主效应，也能估计出交互作用效应，并能对各估计值的大小进行直接比较。 在概化理论中，理论估出各方差成分相对大小的过程，叫概化理论的概括分研究阶段或称G－研究阶段。 3.测量设计 用概化理论进行信度计算，可以根据具体情况进行不同的测量设计。目前主要从侧面的个数、侧面间的关系、侧面和观察全域的关系三个维度上对测量设计进行分类。 依据侧面的个数，可以将测量设计分为单侧面设计、双侧面设计和多侧面设计。单侧面设计(one facet design)指的是测量对象的观察值除了受测量对象本身的系统变异的影响。而由于实际情况中测量情景关系的复杂性，在测量对象本身的系统变异影响之外，测量对象的观察值会受一个以上因素(测量侧面)的影响，这就需要双侧面设计(two facet design)，甚至多侧面设计(multiple facet design)的介入。 测量设计根据侧面间的关系可以分为交叉设计(crossed design)、嵌套设计(nested design)和混合设计如图1。 在交叉设计中，某一侧面的所有水平必须在另一个侧面的所有水平下被观察，