融合反应时信息的计算机化自适应测验及其应用研究.pdfVIP

摘 要 基于计算机考试有两个优点：一是在计算机化自适应测验(CAT) 中，计算机 可以根据考生的能力水平从题库中选择适合其能力水平的试题; 二是不仅可以 记录考生对每个项目的作答反应数据，还可以记录被试在每题上的作答反应时数 据。传统忽略反应时的 CAT 项目选择方法只关注项目得分信息，对于反应时信 息的利用甚少。融合反应时信息的 CAT 很好地结合了基于计算机考试的优点， 并克服了传统忽略反应时 CAT 缺点，即更多地利用反应时信息会使 CAT 具有更 高的效率。使得具有更高的测验效率。 本文首次将 4PL-RT 模型应用于计算机自适应测试，提出了一种基于 4PL-RT 模型的 CAT 算法。主要是从数理统计的角度，一是基于 Fisher 信息法，利用响 应数据和响应时间数据为每个候选人选择合适的项目;另一种方法是用 EAP 方法 估计被试的潜在特征。研究开发并评估了四种新的融合反应时信息的选题算法， 并从能力估计精度和测验安全性两类指标与传统忽略反应时的 CAT 进行综合比 较，以验证新方法的优势。 研究采用蒙特卡洛模拟实验以及实证应用研究相结合的研究范式，开展了三 项研究：研究一主要从数理统计角度出发，对基于4PL-RT 的信息量计算算法进 行数学推导，并在此基础上开发出融合反应时的 CAT 选题策略，同时推导出被 试能力的 EAP 估计方法；研究二采用Monte Carlo 模拟实验验证基于 4PL-RT 模 型的 CAT 的算法有效性；研究三开发了融合反应时信息的 CAT 在瑞文标准推理 测验中的应用。研究结果表明： (1)本文提出的融合反应时信息的 CAT 成功实现了同时利用被试的作答数据 和反应时数据的信息，提出的4 种新的选题策略不论在测验精度，还是项目曝光 率和测验重叠率具有良好的效果。 (2)使用融合反应时信息的 CAT 的性能比传统忽略反应时 CAT 的性能要好， 主要表现在具有更高的参数估计精度和测验安全性。其中，测验长度和测验精度 I 成正比，与题库安全性指标成反比，测验长度为 20 时，各种选题策略的综合表 现最好。 (3)将融合反应时信息的 CAT 应用于瑞文标准推理测验，研究发现，与传统 忽略反应时的 CAT 方法相比较，新方法不仅验证了反应时信息是影响被试能力 估计一个重要因素，而且对被试能力估计的精度更高。这为瑞文标准推理测验（甚 至其它心理测验）的计算机化自适应测量提供了新的方法和技术支持。 关键词：反应时；计算机化自适应测验；4PL-RT 模型；选题策略；EAP ；瑞文标 准推理测 II Abstract The test based on computer have two advantages: one is in the computerized adaptive test (CAT), it can according to the examinees’ latent trait level to choose the items which phase match their level from the item bank; and the another one is it can record the response data of each item, meanwhile record the response time of each item. item selection methods of the traditional ignore response time CAT that considered the information of the items’ score, but considered little the information of response time in it. Incorporate response time information in CAT well combines the advantages of the test based on computer, and it also overcome the disadvanta