计算机自适应测验中测验安全控制方法评述.docxVIP

心理科学进展2010,Vol.18,No.8,1339–1348AdvancesinPsychologicalScience

1339

计算机自适应测验中测验安全控制方法评述*

李铭勇1张敏强1简小珠1,2

(1华南师范大学应用心理研究中心,广州510631)(2井冈山大学,吉安343009)

摘要计算机自适应测验在实际应用中曾经受到了测验安全问题质疑。国内外学者主要从两种研究思路提出了测验安全控制的方法：一是控制项目的最大曝光率,沿着这个思路发展出来的方法有SH法、项目合格方法、多重最大曝光率法等;二是改进选题策略,沿着这个思路发展的方法主要是a分层法及其变式。此外,近年来出现了测验安全控制方法之间相结合的研究思路。本文从均方误差、项目曝光率、题库利用率等指标论述了测验安全控制方法的优缺点,并概述了这些测验安全控制方法的研究发展历程与发展思路,展望了今后的研究趋势。

关键词测验安全;SH法;项目合格方法;多重最大曝光率法;a分层法。

分类号B841

1CAT中测验安全控制的研究背景1.1CAT在教育与心理测验实践中的应用

计算机自适应测验(ComputerizedAdaptiveTest,CAT)是现代测量理论与计算机技术相结合的产物。与传统的纸笔测验相比,CAT具有诸多优点,例如：它能够根据被试能力水平选择相适应难度的试题,进行施测;不同的测验成绩具有可比性;不需要安排在固定的时间、固定的地点;能够实时评分等等,使得国内外学者对CAT的理论研究和应用研究越来越多。美国的许多大型考试,如GRE(研究生入学考试)、TOFEL、CGFNS(护士资格考试)、SAT(学术能力测验)、GMAT(美国商学院入学考试)、ASVAB(美国军队职业能力倾向测验)等都使用了CAT的形式;国内的一些考试也采用CAT形式,比如全国大学英语四、六级考试(试用阶段)、台湾初中升高中的基础知识测试(简称“基测”)等等。

1.2CAT的选题策略及由此产生的项目曝光率问题

由于CAT根据被试能力水平选择能提供最大信息量的试题,因此一些测量性能优良的试题往往会被优先选择。对于三参数Logistic模型来

收稿日期：2010-03-28

*广东省自然科学基金(9151063101000002)、教育部人文社科基地项目基金(2009JJDXLX006)资助。

通讯作者：张敏强,E-mail:zhangmq1117@

说,项目的信息函数是：

其中a、b、c分别是区分度参数、难度参数、伪机遇参数。由公式1可知,项目的a参数越大、c参数越小、(θ?bi)越小,则越能够提供更大的信息量。IRT中定义测量误差为测验信息量的平方根的倒数(漆书青,戴海琦,丁树良,2002),即：

(2)

由公式2可知,测验信息量越大,对特质点

的估计标准误就越小,此时CAT能得到最大的

精确性。因此,CAT的选题策略往往是最大项目信息量法或其变式。

基于最大项目信息量的选题,必然使高a参数、低c参数的项目选中的几率非常大;反之,则选中几率就低,甚至为零,这就导致了题库曝光的程度极不均衡。试题曝光率问题在最早的CAT测验ASVAB-CAT就进行了探讨,并使用了试题曝光率控制方法(Sands,Waters,McBride,1997)。

1.3CAT在实践应用中的试题泄露问题

由于CAT不像纸笔测验那样,安排在固定的时间、地点考试,而是一年中反复举行多次,所以已经参加过考试的考生就有可能将试题泄露

-1340-心理科学进展2010年

给将要参加考试的朋友,这种考生之间的题目分享行为会导致得到试题的考生分数偏高。而更为严重的是有组织的盗题行为(organizeditemtheft),这会对题库造成巨大的伤害。

在CA