計算机自适应测验中测验安全控制方法评述.docVIP

本文由iris028贡献 pdf文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。 心理科学进展 2010, Vol. 18, No. 8, 1339–1348 Advances in Psychological Science 计算机自适应测验中测验安全控制方法评述* 李铭勇 1 张敏强 1 简小珠 1,2 (2 井冈山大学, 吉安 343009) (1 华南师范大学应用心理研究中心, 广州 510631) 摘 要 计算机自适应测验在实际应用中曾经受到了测验安全问题质疑。国内外学者主要从两种研究 思路提出了测验安全控制的方法：一是控制项目的最大曝光率, 沿着这个思路发展出来的方法有 SH 法、项目合格方法、多重最大曝光率法等; 二是改进选题策略, 沿着这个思路发展的方法主要是 a 分 层法及其变式。此外, 近年来出现了测验安全控制方法之间相结合的研究思路。本文从均方误差、项 目曝光率、题库利用率等指标论述了测验安全控制方法的优缺点, 并概述了这些测验安全控制方法的 研究发展历程与发展思路, 展望了今后的研究趋势。 关键词 分类号 测验安全; SH 法; 项目合格方法; 多重最大曝光率法; a 分层法。 B841 说, 项目的信息函数是： 1 CAT 中测验安全控制的研究背景 1.1 CAT 在教育与心理测验实践中的应用 计 算 机 自 适 应 测 验 (Computerized Adaptive Test, CAT)是现代测量理论与计算机技术相结合 的产物。与传统的纸笔测验相比, CAT 具有诸多 优点, 例如：它能够根据被试能力水平选择相适 应难度的试题, 进行施测; 不同的测验成绩具有 可比性; 不需要安排在固定的时间、固定的地点; 能够实时评分等等, 使得国内外学者对 CAT 的理 论研究和应用研究越来越多。美国的许多大型考 试 , 如 GRE( 研 究 生 入 学 考 试 ) 、 TOFEL 、 CGFNS(护士资格考试)、SAT(学术能力测验)、 GMAT(美国商学院入学考试)、ASVAB(美国军队 职业能力倾向测验)等都使用了 CAT 的形式; 国 内的一些考试也采用 CAT 形式, 比如全国大学英 语四、六级考试(试用阶段)、台湾初中升高中的 基础知识测试(简称“基测”)等等。 1.2 CAT 的选题策略及由此产生的项目曝光率 问题 由于 CAT 根据被试能力水平选择能提供最 大信息量的试题, 因此一些测量性能优良的试题 往往会被优先选择。对于三参数 Logistic 模型来 收稿日期：2010-03-28 * 广东省自然科学基金(9151063101000002)、教育部人文 社科基地项目基金(2009JJDXLX006)资助。 通讯作者：张敏强, E-mail: zhangmq1117@ 1339 I i (θ ) = (1.7) 2 ai2 (1 ? ci ) [ci + e1.7 ai (θ ?bi ) ][1 + e?1.7 ai (θ ? bi ) ]2 (1) 其中 a 、 b 、 c 分别是区分度参数、难度参 数、伪机遇参数。由公式 1 可知, 项目的 a 参数 越大、 c 参数越小、 (θ ? bi ) 越小, 则越能够提供 更大的信息量。IRT 中定义测量误差为测验信息 量的平方根的倒数(漆书青, 戴海琦, 丁树良, 2002), 即： SE (θ ) = 1 ∑ I (θ ) i i (2) 由公式 2 可知, 测验信息量越大, 对特质点 θ? 的估计标准误就越小, 此时 CAT 能得到最大的 精确性。因此, CAT 的选题策略往往是最大项目 信息量法或其变式。 基于最大项目信息量的选题, 必然使高 a 参 数、 c 参数的项目选中的几率非常大; 反之, 则 低 选中几率就低, 甚至为零, 这就导致了题库曝光 的程度极不均衡。试题曝光率问题在最早的 CAT 测验 ASVAB-CAT 就进行了探讨, 并使用了试题 曝 光 率 控 制 方 法 (Sands, Waters, McBride, 1997)。 1.3 CAT 在实践应用中的试题泄露问题 由于 CAT 不像纸笔测验那样, 安排在固定的 时间、地点考试, 而是一年中反复举行多次, 所 以已经参加过考试的考生就有可能将试题泄露 -1340- 心理科学进展 2010 年 给将要参加考试的朋友, 这种考生之间的题目分 享行为会导致得到试题的考生分数偏高。而更为 严重的是有组织的盗题行为(or