CTT与IRT对被试能力参数估计差异以及对绩效预测性影响.docVIP

CTT与IRT对被试能力参数估计差异以及对绩效预测性影响 　　[摘要]目的　探讨CTT与IRT对被试能力参数估计的差异以及对绩效预测性的影响。方法 对1450名入伍1年的武警战士进行图形智力测试，并对91名被试进行工作绩效评价，分别用CTT与IRT对被试能力进行估计，比较其能力参数与绩效评价的相关性。结果CTT和IRT对被试能力参数的估计没有显著差异。与CTT相比，IRT对能力估计值与工作绩效相关系数较大，预测性更好。结论 虽然本研究中CTT与IRT对被试能力估计没有显著差异，但用IRT估计能力参数，可提高对工作绩效的预测性。 　　[关键词]人员选拔；经典测量理论；项目反应理论；参数估计；绩效评价；预测效度 　　 　　1　前言 　　 　　随着计算机技术的发展，项目反应理论(IRT)得到了迅速推广应用。目前一些大型的考试如TOEEL、GRE等，都相继采用了以IRT为基础的计算机化适应性测验(CAT)，一些传统的智力测验如比奈测验、韦氏智力测验、瑞文测验等也使用IRT作为分析的理论依据，国外的研究者也将IRT应用到一些调查问卷甚至是领导力的研究中，IRT的前景是无可争议的。与经典测量理论(CTT)相比，IRT在理论和方法上有许多优点，其中最为人们所称道的一条，就是项目与特质参数具有不变性，将被试能力和试题难度放在同一量尺上进行估计，无论测验的难易，被试能力估计值不变，不同的测验结果可直接比较。但也存在单维性假定难以满足，计算复杂，不易被人掌握以及对测验条件要求较严格等局限性。加上对计算机自适应测验(CAT)试题暴光率等问题的担忧，有关CTT和IRT优缺点的争议一直在持续，但有关CTT和IRT对被试工作绩效预测性差异的实证研究还未见报道。本研究以自编的图形智力测验作为预测工具，分别以CTT和IRT两种理论计算被试能力得分，采用课题组编制的《中国士兵工作绩效评价问卷》对被试进行工作绩效评定，然后比较IRT和CFT两种方法计算的能力结果对工作绩效预测性的差异。 　　 　　2　对象和方法 　　 　　2.1　对象　武警某部入伍1年战士1450名，均为健康男性，无精神疾病及脑疾患史。平均年龄18.7±1.3岁。 　　 　　2.2　研究工具　所编制的图形智力测验由48道选择题构成，采取团体纸笔测验的形式，要求被试从4个各选答案中选择出唯一由所提供元素构成的图形。采用两级(1，0)记分模式，选择三参数logistic模型。即： 　　 　　采用BilogMG3.0软件包，利用极大似然法对项目参数和被试能力参数进行估计。CTT测验成绩和其它数据分析采用SPSS13.0软件包处理。 　　 　　2.3　工作绩效评价 在所测1450名被试中随机抽取100人，由其所在班班长对被试进行绩效评价，所用问卷课题组前期编制的《中国士兵工作绩效评价问卷》，包括关系绩效和任务绩效2个维度，共有41个条目构成，全部采用LIKET 5级量表评分，将各条目得分相加作为总成绩，各维度条目得分相加作为该维度绩效评价成绩。班长和战士共同生活10个月以上，彼此非常了解。在进行绩效评价时，班长不知道被试智力测验成绩。 　　 　　3　结果 　　 　　根据测验结果，去除有问题的3个题目，共余45个条目。绩效评价中有9份问卷出现缺项，予以删除，共有91份有效 　　 　　3.1　能力的t检验　因为IRT能力估计所得成绩已经是标准分，所以只要将CTT能力估计值转换为标准分(z分数)，即可进行比较。对1450名被试的平均成绩进行配对t检验(df＝1449，t＝0.843，P＝0.40)，结果提示在0.05水平，两者没有显著性差异。但从结果也可以明显看出，CTT结果相同的被试，IRT分数差异还是显而易见的。 　　 　　 　　3.2　对绩效预测性 分别计算两种能力估计值与任务绩效相关条目得分和关系绩效相关条目得分以及绩效评价量表得分之和的相关系数，结果见表2。 　　 　　 　　4　讨论 　　 　　智力对工作绩效的预测性已经有多篇文献报道，在此不再赘述。图形智力测验主要测量的是空间表象加工能力，空间能力测验用于人员选拔上的价值已经得到了很好的证实。Chistal进行了大量的有关职业能力测验预测效度文献的回顾性分析，认为空间能力是职业选拔和绩效预测的重要指标。Hunter使用明尼苏达纸板测验(Minnesota Paper FormBoard Tests)和奥茨智力测验(B型)(Otis Intelligence Tests，Form B)对技术学生的技能课程等级水平进行预测，结果前者与其效标的相关为0.45，后者则为0.28.同时Smith用11项测验在对一所职业学校的一、二年级学生进行测试，同时也用运奥茨智力测验(B型)，结果发现空间测验的