用多元概化理论（MGT）分析.docVIP

用多元概化理论(MGT)分析 国家公务员录用面试的评分者信度 严 芳 摘 要 本研究在实行公务员面试的某省直国家机关中随机抽取27名被试（应考者），采用概化理论（Generalizability Theory，GT），通过单变量概化分析（Univariate Generalizability Analysis）和多元概化分析（Multivariate Generalizability Analysis）两项研究，全面分析了该结构化面试过程中的评价信息，对评分误差、评分者信度进行了较深入的理论探讨，为完善结构化面试的测量设计、最优化测评决策提供了有益的参考。 关键字 多元概化理论（MGT） 结构化面试 公务员 1 引言 自1996年以来，国家人事部考录司正式规定在国家公务员录用考试中全面推行结构化面试，作为国家公务员考试的关键录用步骤，结构化面试的科学性、规范性关系到国家公务员考试的公正性和有效性，进而影响政府行为的权威性，结构化面试的误差分析和信度研究是测量理论界极为关注的课题之一。 对于面试误差的研究已从经典测验理论的Kendall和谐系数发展为采用现代测量理论和模型为基础的方法[1][2]。其中概化理论的应用颇受测量理论界的关注。概化理论以其独特的概念体系和理论构想，对测验信度提出了崭新的诠释。GT对经典测量理论最大的改进是辨明测量情境中的不同误差来源，并实施分解和控制[3]。引入了“随机平行测验”（randomly-parallel-tests）的思想，借用试验设计和分析、方差分量模型等统计工具，提出具有多维性、可变性和一定相对性、可改进性的信度观。理论界有介绍单变量概化理论在面试评分中的误差分析，可提供的测评信息有限，缺乏对面试较为深入、系统的理论研究，此类测量原理、测评技术的探讨都远远不能满足实践的需要。 结构化面试作为一种多维度的综合性测评，运用多元概化理论不仅提供了多变量测评中协方差构成的侧面信息，而且使用了评价中的相关信息,可以全面分析面试过程中的评价信息，为探求最优面试设计方案提供有益的参考。为此，本研究介绍引进了多元概化理论的模型和研究方法，尝试将多元概化理论应用于国家公务员录用结构化面试中。以期为完善国家公务员录用面试的测量设计、规范实施程序、最优化人事决策提供极为宝贵的资料和理论依据，同时也促使概化理论这一“行为测量可靠性的统计理论”发挥出它应有的价值。 2 方法 本研究在实行公务员录用结构化面试的某省直国家机关中随机抽取27名被试（应考者），该面试采用个体问答方式，由一名主考官按指定的问题顺序对应试者提问，所有的评分者（包括主考官）分别记录，评估每位应试者对问题的反应。设计五项测评要素：仪表举止、报考动机和愿望、思想观念（如责任感、主动性、进取心、纪律性、服务意识等）、适应能力、思维和表达（言语表达和分析综合、推理判断能力）。各维度为15点记分。为保证评分的公平性，评定者的资格和人员组成均有严格规定。评委由9名评定者组成，其中录用单位4至5人（主管人事的厅长或局长任主考官）、人事和组织部门各1人、有关专家（具有高级职称）2到3名。单位选定的面试评委必须报人事厅考试录用处审核批准后才有资格担任面试评定者，并在面试前接受严格培训。培训内容主要包括面试的基本知识和原理、观察的技巧、评分的客观性、测评要素的含义与标准的把握、评定方法等，且通过面试模拟或观摩实际的面试来掌握有关的知识和技术。 原始评定数据为9名评分者分别对27名被试在五项测评维度上的评估分数。为阐明多元概化研究较单变量概化分析的优势之处，本研究对同一批样本数据采用两种研究设计。研究一中将测评要素作为固定侧面，分别对该侧面的五个水平进行单变量概化分析。研究二应用多元概化理论对结构化面试五项测评要素上的综合评价进行评定误差分析和信度研究。 研究一中采用SPSS10.0计算方差分量；研究二则运用SAS中GLM模块计算方差协方差分量矩阵。 3 结果 3.1 研究一 研究一的测量目标是被试在五项测评要素上的表现评定，初始测量设计中将测评要素作为固定侧面，评分者侧面随机，分别对该侧面的五个水平进行单变量概化分析，即五个p×r的单侧面交叉设计。G研究各效应的方差分量见表1，表中也列出了相应的各方差分量占总变异的百分比。虽然各维度评分者效应的方差分量都较小（占总方差的百分比均小于8%），但是各维度上交互效应的方差分量均大于被试效应的方差分量，即测评中混杂着其他因素引起的误差。从方差分量的百分比来看，在适应能力的评定上被试效应的方差分量仅占了27.7%，而总变异的65%是由交互效应产生的。要决定评分者带来的误差波动是大是小，不仅看评分者侧面的方差分量在总方差分量中所占的百分比，还要看评分者方差分量之平方根的大小在实际中是否可以接受。考察思维表达维度