基于IRT理论传统纸笔测验与计算机自适应测验结果对比分析-应用心理学专业论文.docxVIP

摘 要 基于项目反应理论的计算机自适应测验（Computerized Adaptive Test ,CAT）是一种比传统测验方式更加快速有效的测验方式。目前， 对于 CAT 的研究多集中在 CAT 系统的建立、CAT 相关算法研究与 优化、CAT 与其他测验理论的结合三个方面。罕有文章对 CAT 在测 验中的准确性及测验效率的进行普适研究，尤其是研究在理想状况 下 CAT 与传统纸笔测验方式的差异与特点。 本文以 EPQ 量表当中 N 量表为基础，首先使用真实数据进行模 型拟合与参数估计，研究在实际测验中，CAT 的可行性以及其测验 结果与传统纸笔测验的相关与差异；而后利用 Monte-Carlo 生成模拟 数据，对基于 IRT 的传统纸笔测验及 CAT 结果进行分析，排除各种 干扰因素之后，进一步研究 CAT 与传统纸笔测验在理想状况下，其 理论与模型的固有特点，得到以下结果： （1）CAT 效率的提升，是以测验准确性的有控制的牺牲为条件 的，其实质是在测验效率与测验准确率做平衡，每一个项目的减少， 都会造成测验准确性的牺牲，如何有计划的筛选项目，是 CAT 首要 的问题。 （2）题库项目的增加，对于整个被试群体来说，会使传统纸笔 测验和 CAT 的测验准确性增加，传统纸笔测验准确性的提升，同时 表现在测验标准误的降低上，而在 CAT 中，由于本文限定了终止条 III 件的标准误，最终被试能力估计值的标准误并没有因为测验准确性 的提升而改变，这说明传统纸笔测验或者 CAT 所获得的被试能力估 计的标准误，无法表明其测验的准确性。 （3）对于不同能力水平的被试，题库项目的增加，可能会提升 其测验准确性，也可能会提升其测验效率。 关键词：CAT，IRT，测验效率，数据模拟 IV Abstract CAT (Computerized Adaptive Test) is more quickly and efficient than traditional paper-pencil test. Currently, the studies of CAT mainly focus on three aspects, which contain building CAT system, CAT-related algorithm designing and optimization and combination of CAT and other test theories. However, the accuracy and efficiency of CAT are rarely discussed in papers, especially on the features and differences which compared to traditional paper-pencil test under ideal situation. This paper firstly models a real data based on a survey using N sub-scale of EPQ, in order to study the feasibility of CAT under actual situation and both the similarities and difference between CAT and traditional test. Secondly, this paper analyses the simulated data generated by Monte-Carlo method aim at discussing the theoretic and modeling features of both CAT and traditional paper-pencil test based on IRT (Item Response Theory) under ideal circumstances. 3 conclusions have been reached as the following. The efficiency enhancement on CAT goes hand in hand with a controlled reduction of the test’s accuracy, the essence of which is a leverage between test’s accuracy and efficiency. V Every reduction of the administrated items will