基于原始题植入的《现代教育技术》CAT题库建设.docVIP

基于原始题植入的《现代教育技术》CAT题库建设 　　摘要：本文在项目反应理论的基础上，提出了自适应参数估计数学模型，并根据模型，设计并实现了基于原始题植入的《现代教育技术》CAT题库建设方法，解决了样本采集异常困难、项目参数估计与等值问题，有效提高了题库的容量与质量。 　　关键词：原始题植入；《现代教育技术》；CAT；题库 　　中图分类号：Tp311.56 文献标识码：A 论文编号：1674-2117（2016）20-0088-06 　　● 引言 　　师范生教育技术能力测评是对应用能力的测评。计算机化考试（Computer-Based Testing，CBT）和传统笔试均未初估被试能力，常常导致出现“高者低测，低者高测”的情况。计算机自适应考试（Computerized Adaptive Test，CAT）能够根据被试者的作答情况不断地估计其能力，并选择难度合适的项目施测，主动适应考生实有水平，以达到“因人施测”的目的，这开拓了教育测量的新领地。近几年，计算机自适应考试逐渐被应用于师范生教育技术能力测试。 　　题库是影响自适应测试信度和效度的重要因素，题库的建设是CAT编制中最基础也是工作量最大的工程。课程题库是一个功能强大的平台，可以实现课程、学习者、教师以及管理者的有机连接，发挥助学、助教、管理及评价功能。[1]一个优秀的题库不仅要提供测试的题目，还要提供必要的试题参数，以确保自适应优质试卷的生成。目前，研究[2][3][4]主要关注以项目反应理论（Item Response Theory，IRT）为指导所做的项目分析、参数等值等工作，对《现代教育技术》CAT题库的建设、扩充鲜有提及。题库的重复使用，必然会使部分试题的曝光率升高，使其安全性受到威胁；且随着时间的推移，题库中的一些项目会因为存在缺陷、过时、过度曝光等问题需要用新题去替换或增补。[5]有研究指出，一个合适的自适应考试的题库容量必须在3000道以上，这样产生的标准差和偏差较小。[6][7]为了达到足够的题库规模，研究[8]通过网络征集试题和组织抽样测试建立题库，这虽然解决了试题源的问题，但存在试题曝光的风险和样本采集困难的问题。在试题参数处理上，张鸿尝试使用经典测量理论（Classical Test Theory，CTT）采集样本，结合项目反应理论的三参数模型，确定试题的3个质量参数。[9]用CTT采集样本解决了初始样本的问题，但若要动态扩充题库，仍存在再续样本采集困难的问题。同时，CTT采集的样本与IRT的三参数转换，也存在等值的问题。因此，现有题库建设仍存在以下不足：①初始试题建设容易，但动态扩充题库困难；题库量也不够大，远远没有达到自适应考试需要的题目数量[10]；②项目参数估计与等值的问题；③样本采集异常困难。 　　● 原始题植入 　　1.原始题植入 　　原始题是没有设置任何项目参数的试题。原始题植入是在被试者参加自适应测试的过程中插入原始题供多名被试者作答（但不参与能力估值），以收集被试者对原始题的作答反应，并根据这些反应对原始题进行项目参数估计。采用自适应参数估计法（Adaptive Estimating Method，AEM）扩充题库步骤主要有：①由命题专家命制一批原始题；②在CAT测试的同时植入原始题，获得原始题的作答反应，估出项目参数；③挑选出一批优质的原始题连同项目参数一并入库，成为正式测试试题。采用AEM方法有如下优点：一是无需单独寻找被试者对新题进行测试，成本低，安全性好。参与CAT测试的师范生数量巨大，解决了样本采集难的问题，而且原始题是在样本毫不知情的状态下植入，提高了试题的安全性。二是题库扩充方便，不受新试题量的限制。三是原始题是在CAT测试时植入，基于项目参数不变性的特点使其参数无需再做等值。 　　2.原始题自适应参数估计模型 　　项目反应理论是一种新兴的心理与教育测量理论，它突破了经典测量理论的局限性，将被试者特质水平与被试者在项目上的行为关联起来，并将其参数化、模型化。[11]根据这一理论建立的考试模型称为IRT模型，它以概率论来解释被试者对试题的反应与其潜在能力特质之间的关系。单参数Logistic（One-Parameter Logistic Model，1PLM）和双参数Logistic（2PLM）模型分别表示为、。其中D=1.7，参数为项目的难度参数；i表示项目作答次数；j表示项目数；表示第j个项目第i次被作答时的作答反应；为第j个项目第i次被作答时对应被试能力值； 表示能力为被试答对难度为的项目的概率；表示能力为被试答错难度为的项目的概率。 　　自适应参数估计方法[12]指在被试者参加自适应测试的过程中插入一些新的原始试题，并收集被试者对新题的作答反应，再对这些原始试题作项目参数估计。