结构化面试信度和效度的实证分析.pdfVIP

结构化面试信度和效度的实证分析——对新录用公务员试用期表现的跟踪调查结构化面试是 一种以行为描述方法为主的,并按测量要求事先拟定提问内容和顺序的面试。它具有测试要素 结构化、面试程序结构化和评分标准结构化三大特点。自实施国家公务员制度十年来,它已经 被广泛地应用到各级公务员录用考试中。考试的科学性是考试录用制度的生命线,而面试的公 正与客观更是社会关注的热点。结构化面试的信度是测试过程本身的可靠程度,即可信度;结 构化面试的效度是测试结果达到预期目标的程度。结构化面试的信度和效度究竟如何?我们曾 尝试通过对新录用公务员试用期表现的跟踪调查,应用量表测评和数理统计的方法对结构化 面试的信度和效度进行实证分析。现将有关调查情况综述如下:一、调查的组织今年8月,我 们对2002年新录用的国家公务员和机关工作人员的试用期表现,分别采用量表测评和民主评 议的方式进行跟踪调查。(一)确定测评要素与评分标准。根据县级市机关国家公务员和机关 工作人员职位的共性特点和任职条件,采用与2002年录用面试同结构的测评要素和评分标准, 编制了《新录用人员试用期能力评估表》(表一)。(二)组织评估。我们专门下发了《关于对 2002 年新录用国家公务员和机关工作人员试用期情况进行调研的通知》,要求各有关部门按 照领导评鉴和群众测评相结合的原则,组织主管领导和群众对每个新录用公务员在试用期间 的政策水平与综合分析能力、计划与组织能力、社会感知与协调能力、记忆和理解能力和文 化素养与心理素质等六个方面的能力评估后,填报《新录用人员试用期能力评估表》。(三)复 核和评价。为了做好新录用公务员试用期能力评估结果的复核,我们还要求各部门采用领导、 本人和群众“三结合”的调查方式,通过对被测评人在试用期表现和工作环境的全面评价,复 核能力评估的结果。复核结论反映评估结果基本符合新录用人员的实际情况。二、调查结果 的分析通过新录用结构化面试成绩和试用期跟踪测评成绩的相关分析,研究结构化面试的信 度和效度。(一)编制相关表,判断相关关系。将2002年37位考试录用国家公务员和机关工作 人员的面试成绩和试用期跟踪测评成绩,按面试成绩的高低排列,编出相关表,如表二所示。从 上述相关表中可以看出,随着录取成绩的降低,测评成绩也有下降趋势,但不明显。(二)画出相 关图,分析相关趋势。以x轴代表新录用公务员结构化面试成绩(自变量),y轴代表新录用公 务员试用期跟踪调查的测评成绩(因变量),将新录用公务员上述两项成绩的对应数值在座标 图上用点画出来,以表明相关点的分布状况,如图一所示。图一中的两条直线分别代表自变量 数列的平均线(即新录用公务员结构化面试的平均成绩:x(—)=70.34 分)和因变量数列的平 均线(即新录用公务员试用期跟踪测评的平均成绩:y(—)=78.30分)。以这两条平均线为标准 就可以清楚地看出:有 25 位新录用公务员的两项成绩呈正相关(xx(—)时对应的 yy(—)或 xlt;x(—)时对应的ylt;y(—))。有12位新录用公务员的两项成绩呈负相关(xx(—)时对应 的ylt;y(—)或xlt;x(—)时对应的yy(—))。加总的结果∑(xx(—))(ylt;y(—))为正数,表 示新录用公务员试用期能力评估结果与结构化面试成绩呈正相关。从图一中还可以看出,新录 用公务员的结构化面试成绩与试用期能力评估结果的关系,呈线性相关的趋势。(三)计算相关 系数,研究相关程度。根据 2002 年新录用公务员的结构化面试成绩和试用期跟踪测评成绩, 计算得:τ=0.41。相关系数的数值范围在-1和+1之间,相关系数为负数表示负相关,正数表示 正相关。相关系数越接近于1,表示相关关系越强,越接近于0表示相关关系越弱。根据常用 四级划分标准 ,新录用公务员的试用期跟踪测评成绩和结构化面试成绩的相关系数在 0.3~0.5 之间,属低度正相关。三、调研的结论调查结果的分析表明:新录用公务员的结构化 面试成绩与试用期跟踪测评成绩之间的关系为线性正相关,其相关系数为 0.41,属低度相关。 这说明:结构化面试不失为公务员录用考试的一种主要技术方法,但考试的信度和效度还有待 进一步提高。相关分析使我们对新录用公务员结构化面试成绩和试用期能力评估之间关系的 认识由定性进入定量,也为我们分析结构化面试的信度和效度提供了实证。结构化面试由 Hall ·W ·E博士倡导并发展起来,迄今也不过三十多年的历史。1994年,国家人事部将结构化 面试引进到公务员录用考试中来,1996年开始全面推行。我市1999年乡镇机关考录27人、 2002年市级机关考录37人、2003年市、镇两级机关考录54人,均按省人事