情景判断测验效度研究述评.docVIP

情景判断测验效度研究述评 　　摘 要:文章在回顾近年来情景判断测验研究的基础上,总结了情景判断测验的效标关联效度、结构效度、增量效度和情景判断测验效度的影响因素。研究发现情景判断测验有较高的效标关联效度,是一种较好的人才选拔工具;情景判断测验是一种测量方法,可以用来测量指定的结构;情景判断测验对认知能力、人格、工作知识等变量具有增量效度;试题特性、测验开发模式、研究设计、评分方式等会影响情景判断测验的效度。 　　关键词:情景判断测验;效标关联效度;结构效度;增量效度 　　中图分类号:B841.2 　　文献标识码:A文章编号:1003-5184(2010)03-0074-06 　　 　　1 引言 　　情景判断测验(Situational Judgement Tests,SJTs)是近二十年越来越受欢迎的测评方法之一,被称为人才测评技术的新贵。对于什么是“情景判断测验”,不同的学者有各自独特的见解,但大家都比较认可的一般性操作定义是:给被试呈现一个与工作相关的情景,并提供这一情景条件下可能产生的行为反应,令被试针对这些行为反应进行判断、评价和选择,然后将被试的作答与标答进行比较后赋分,具体的评分方法因设问方式不同而相应地改变;根据评分结果判断被试是否适合从事这项工作的测验即情景判断测验。作为人才测评中应用越来越广的情景判断测验,其效度问题备受研究者们的关注。该文在总结近年来情景判断测验研究的基础上,拟从情景判断测验的效标关联效度、结构效度、增量效度、效度影响因素等几方面展开探讨。 　　2 情景判断测验的效标关联效度 　　评判一个选拔工具是否有效,最关键的是看该工具是否能预测工作绩效,具有高的效标关联效度。自从情景判断测验这种测验形式出现以来,其效标关联效度就为研究者们所关注,已经有大量的实证研究检验情景判断测验是否有好的预测效度。不过,他们的研究结果并不一致,甚至相反,比如Weekly和Jones(1997)报告情景判断测验的预测效度较低,Motowidlo等(1990)报告情景判断测验与工作绩效有中等程度的相关,而Stevens和Campion(1999)发现情景判断测验与工作绩效相关较高。McDaniel等人针对这种情况,引进元分析的方法,检索了1887～2000年情景判断测验的实证研究,并在此基础上进行元分析,发现情景判断测验与工作绩效平均相关为0.34。这一研究结果说明情景判断测验可以与人事评价和选拔中的很多工具相媲美,它可以较好地预测个体现在和将来的工作表现。 　　应该说,前人的研究为情景判断测验的发展和应用推广起到了很大的作用。不过,这些研究很多出于选样的方便性和可行性,选取的被试是在职者而非应聘者,两者的作答动机明显不同,应聘者更可能存在作伪的现象,因此很有必要考查不同的被试群体下情景判断测验的效度。此外,在效标的选取上,有相当一部分研究采用的是业绩这一单一变量即任务绩效作为效标。但是,工作绩效分为任务绩效和周边绩效,并且近期的研究发现在评价直接上级、同级别同事、直接下级时,周边绩效对个体总体工作绩效均有显著影响;更有研究表明,在人事评价与选拔中,认知能力能有效地预测任务绩效,而人格则对周边绩效有很好的预测效果。因此,仅选用任务绩效作为效标所得到的研究结果并不全面,将来的研究还应该探讨情景判断测验对周边绩效的预测作用。 　　3 情景判断测验的结构效度 　　情景判断测验虽然被广泛用于应用研究,并被大量研究验证对工作绩效有预测作用,但为什么情景判断测验能够预测工作绩效,它又到底测量了什么呢,这一直是研究者们的争论焦点。目前,主要有以下几种观点。 　　3.1 单一结构的观点 　　Sternberg等人的研究表明情景判断测验与一般认知能力、人格不相关,基于此,他们认为情景判断测验测量到的是内隐知识。这种知识是个体在没有或较少外部支持的条件下获得的,与个体价值目标密切关联的知识,一般难以用言语来表达,属于程序性知识。对Sternberg等人的观点,有人认为他们的研究样本量太小,其结果值得怀疑;还有人指出他们的研究在探讨情景判断测验与人格的关系时,采用的效标并不是目前被广泛使用的大五人格测验,其研究结果值得商榷。 　　3.2 多维结构的观点 　　与单一结构观点相对立的是多维结构的观点。目前验证情景判断测验是多维结构的方法主要有两类:相关法和因素分析法。McDaniel和Whetzel(2005)的研究发现,同一个情景下被试在各个行为反应项上的得分与一般认知能力、人格的相关并不一致。比如有一个情景题,被试在第一个反应项上得分与一般认知能力相关为0.10,与大五人格中的宜人性相关为-0.13;而第二个和第五个反应项与一般认知能力的相关分别为0.11和0.13;第三个反应项与宜人性的相关为-0.16;