可修改答案的计算机化自适应测验的方法.pdfVIP

心理科学进展 2016, Vol. 24, No. 4, 654–664 Advances in Psychological Science DOI: 10.3724/SP.J.1042.2016.00654 ·研究方法(Research Method) · 可修改答案的计算机化自适应测验的方法* 高旭亮 涂冬波 王 芳 张 龙 李雪莹 (江西师范大学心理学院, 南昌 330022) 摘 要 与传统的纸笔测验(Paper And Pencil Based Test, PP)相比计算机化自适应测验(Computerized Adaptive Testing, CAT)根据被试的作答反应自适应地选择题目, 它不仅缩短了测验长度, 还极大地提高了测 验的准确性。然而, 目前绝大多数CAT 不允许被试修改答案, 研究者主要担心修改答案会降低CAT 的有效性。 允许修改答案符合被试一贯的测验习惯, 修改之后的分数更能反映被试真实的水平, 从而能够进一步促进 CAT 在实际中的应用。现有的研究主要从三个方面提出了可修改答案CAT 的控制方法：一是测验设计; 二是 改进选题策略; 三是建构模型。未来的研究应进一步探讨这些方法之间的比较与结合, 以及对可修改答案认知 诊断CAT (Cognitive Diagnostic CAT, CD-CAT)的研究。 关键词 计算机化自适应测验; 检查答案; 测验效率; 修改答案 分类号 B841 1 引言 确度的同时又能节省答题数。 伴随着CAT 的快速发展的同时, CAT 本身的 计算机化自适应测验(Computerized Adaptive 一些弊端也逐渐暴露出来, 例如, 从被试的角度 Testing, CAT)研究始于 20 世纪七八十年代,并在 出发, CAT 较之纸笔测验一个很大的区别就是：不 过去的20 年得到了快速的发展。现在, 美国的许 允许他们修改答案。在传统的纸笔测验中, 被试 多大型考试, 例如 SAT (学术能力测验) 、CGFNS 可以跳过题目作答, 也可以随时修改答案, 长期 (护士资格证书考试) 、TOEFL 等大型测验已经实 以来被试已经习惯了这样的的测验形式。但是目 行了计算机化自适应测验(Papanastasiou, 2002) 。 前绝大多数CAT 不允许修改答案(简称传统CAT), CAT 大致可以分为两类,一类是以项目反应理论 一定程度上限制了CAT 的进一步发展及实际应用。 为基础的传统 CAT, 另一类是以认知诊断为基础 可修改答案CAT (Reviewable CAT, RCAT) 的 的认知诊断计算机化自适应测验(Cognitive 优点显而易见。首先, 从被试的角度出发, 允许修 Diagnostic CAT, CD-CAT) 。相对于传统纸笔测验 改答案的测验形式更符合他们的测验习惯。 (Paper and Pencil