不定长CAT区分度分层终止规则的研究.docVIP

不定长CAT区分度分层终止规则的研究 　　摘 要：该文通过对CAT测验信息量计算公式分析，给出了CAT较好的分层终止规则。实验数据表明，该分层终止规则能大大地提高考试的保密性和测验效率。 　　关键词：IRT；不定长CAT；终止规则；蒙特卡罗模拟 　　中图分类号：B841.2 　　 文献标识码：A 文章编号：1003-5184(2008)04-0080-05 　　 　　1 问题的提出 　　 　　计算机化自适应测验(Computerized Adaptive Test，CAT)是项目反应理论(Item Response Theory，IRT)和计算机技术相结合的产物，是目前流行的现代考试方式之一。有了一个高质量的题库以后，一个CAT需要考虑的主要问题有能力估计方法、选题策略和终止规则等三个问题［1］。CAT按终止规则可分为定长CAT和不定长CAT。所谓定长CAT是在一次测验中规定所有考生回答相同数量的项目(但项目可以不同)。不定长CAT就是测验总信息量达到一预先给定值即可结束考试的CAT。目前CAT中常用的选题策略是Lord提出的极大项目信息量法［2,9］，实施这种选题策略会使区分高的项目过度使用，而区分度过低的项目搁置不用或极少使用，因此这种方法虽然有测验效率高(只需较少量题即可测出能力)的优点，但也有题库安全性降低的缺陷［9,10］。针对Lord选题策略的不足，学者们又提出了按A分层法［7］、按B分层法［6,8］和按C分层法［1］，相关文献均称这些选题策略将能较好增强CAT的安全性。但采用这些分层选题策略后又产生一个新的问题：假定将题库中所有项目分为k层(阶段或子题库)，测验总信息量设定为INF，则 　　INF=I??1+I??2+…+I??k(1) 　　其中I??k表示第k个层应完成的信息量。 　　那么在不定长CAT中各层信息量应怎样分配呢？亦即实施题库分层后不定长CAT的各层终止规则该如何制定呢？目前涉及终止规则的结果并不多见。文剑冰、侯杰泰［9］、陈德枝［2，3］、王茜娟［1］研究过这一问题，但未涉及三参数Logistic模型(3plm)。文献［1］指出各层信息量采用递增的方法分配比平均或递减方法在保证测试的安全性和测试效率上表现更好，但却没给出递增的具体方法。文献［2，3］给出的递增方法为： 　　I??1：I??2：??…：I??k=（1/k)2:(2/k)2:??…(k/k)2=12:22:??…:k2(2) 　　 但有无比(2)式更好的方案呢？ 　　 　　2 问题的求解 　　 　　受文献［2］的启发，要解决各层信息量分配问题，首先考察CAT中测验信息量的计算方法，当选用单维三参数Logistic模型时其计算公式如下： 　　I??i(θ)=（1.7）2a2??i（1-c??i)［c??i+e1.7a??i(θ-b??i)］［1+e-1.7a i(θ-b??i)］2(3) 　　特别地，当c i=0时，(3)式就可变为单维双参数Logistic模型(2plm)的测验信息量计算公式： 　　I??i(θ)=（1.7）2a2??ie1.7a??i(θ-b??i)［1+e-1.7a i(θ-b??i)］2(4) 　　CAT又称为量体裁衣式的测验，故选题时通常取难度b与当前能力估计值θ相接近的项目，以下对(3)的计算中都认为这一点近似成立。在2plm模型下由(4)式可知，信息量I与区分度a的平方成正比，进而据此给出k层信息量分配之比为： 　　I??1:I??2:??…:I??k=(a??1)2:(a??2)2:??…:(a??k)2(5) 　　在3plm模型下由(3)式可知，由(5)以及下面(6)和(7)式给出四种k层信息量分配方案： 　　I??1:I??2:??…:I??k=12 (1-c??1):22(1-c??2):??…:k2(1-c??k)(6) 　　I??1:I??2:??…:I??k=12 (1-c??1)2:22(1-c??2)2:??…:k2(1-c??k)2(7) 　　其中c??k表示第k层猜侧度c平均值， (6)、(7)式是在(2)式基础修正的。 　　 有了分配方案后，要比较各种分配方案的优劣就必须引入评价标准，它们是CAT的测验偏差Bias、测验标准误差MSE、测验效率E、试题曝光均匀度Chi、测验重叠率R和综合评价COMP等若干个评价指标［1］，各指标计算公式如下： 　　第4期朱隆尹等 分层化不定长CAT终止规则研究 　　设M为被试总数，inf??j为被试j测量的信息总量，L??j为被试??j的测试长度，θ^??j被试j能力的测量估计值，θ??j为被试j 　　的能力真值，N是题库中的试题总数，A??i是题库中第i题的曝光率，TO??总是考生的试