基于Rasch模型自适应考试评估系统设计.pdfVIP

基于Rasch模型的自适应考试评估系统设计 华莹陈志云王行恒 华东师范大学计算中心．上海200062 【摘要】基于计算机的考试系统目前已经有，比较广泛的应用。但是就计算机应用能力方面的考试来说， 多数考试系统虽然做到J广无纸化考试．但在题库建设、试题自动生成和自动阅卷方面并没有做到十分完善． 更不用说考试结果评估和提供教学反馈方面厂。本文提出r建立在Rasch模型基础上的自适应考试评估系 统的设计思想。希望能设计出能适合于计算机应用能力考试的自动考试系统。以满足教学需要． 【关键词】 自适应考试系统项目反应理论Rasch模型 1 我国基于计算机的考试系统现状 在教育领域中．考核与测评作为衡量学生学习成果的一个重要手段是必不可少的，可 采用的形式也是多种多样的。例如：课堂表现、小论文、设计方案等，然而最常用的考核 方式还是口试和笔试。近十年来。计算机及网络由于技术发展迅速。作为一种先进的教学 I：具。已经渗透到了教育的各个阶段，而且在各种教育及培训机构中被广泛地使用，大量 的考试软件也如雨后春笋般的不断出现。基于计算机的考试系统也在这几年有了相当快的 发展。特别是对于规模较大的考试．如果使用具有题库支撑的应用于网络环境的考试系统， 更是由于其出题效率和阅卷效率的提高而受到广大考试组织者的喜爱。 在计算机基础教育领域中。基于计算机的考试系统也被广泛地使用，这些考试系统大 多数应用在局域网范围内。具有较好的发卷，收卷和学生答题环境。但是由于计算机技术 的发展迅速，题库的建立和维护始终比较困难；另外。考题中，针对学生能力测试的要求 较高，大量考题要求学生完成实际操作，对学生考试结果的评阅就比较大的依赖于考题中 涉及到的操作【具的了解，这些工具往往来自于一些商业软件。其内核涉及到商业机密不 一定会公开．制作相应的自动阅卷系统就比较困难。 这类考试系统虽然在形式上属于无纸化考试，可以方便地发卷。收卷，学生在计算机 上考试。完成实际的操作，测试了学生的实际应用计算机的能力，但是，出卷，阅卷始终 是一件头疼的事情，特别是对于规模较大的考试。如针对上千人的计算机基础考试，由于 考试所用的计算机数量的限制，每次可能需要出十多套卷，而阅卷的工作量更大，这种情 况在许多高等学校的公共计算机教学部门存在，对于省市级组织的计算机应用能力等级考 试中也大量存在。 另外。目前的考试系统也很少具有对学生的考试结果进行评估的能力，由于考试系统 仅能完成部分考题的自动阅卷．如对选择题，填空题的自动阅卷，部分操作题由人工阅卷 或人工参与的半自动阅卷完成，对考题本身难易程度的分析。对考生能力的分析也只能通 过人[的评估了，在这个方面，这种基于计算机系统的考试模式与传统的考试模式并无本 质上的区别。 2 1CAT系统 计算机自适应考试(computeradaptivetesting．CAT)是以项目反应理论(itemresponse 试者的全部表现是由他的能力和试题的特征来决定的。在一个计算机自适应考试中，对 于一个特定的应试者，试题是以他／她的能力水平为标准从试题库中抽出来的，而这个试 题库中的试题都是已经使用了IRT模型校准过的。考试的组织者认为．要测量一个人的 能力，最理想的考题就是难度适中的考题，这样的考题应试者答对或答错的概率都在50％ 左右。 例如：在考试开始时，计算机一般给出一个难度中等的题目，如果应试者给出了正确 答案，计算机就会估计他的能力高于中等水平，然后再给他一个难度高一点的题目；如果 他做错。计算机就会估计他的能力低于中等水平，然后给他一个难度较低一点的题目。计 算机根据应试者第二题的回答情况，对其能力再作估计，在第二次估计基础上．计算机在 题库中选择最接近他能力估计值的题目，接着根据应试者的反应，对其能力再进行估计。 这样，随着应试者回答的题目的增多，计算机对他能力的估计精度也越来越高，最后其估 计值将收敛于一点，该点就是该应试者的能力较精确的估计值。 ． 如果所建立的考试系统针对每个应试者的能力都能自动调整给出的考题，最终将获得 所有应试者的能力得分，这种能力得分可以为这个应试者提供进一步学习和提高打下基础。 对于教师来说，通过这样的测试，可以及时掌握所教学生的整体能力水平，以便于及时调 教学服务，成为能真正衡量教学水平的基准。 目前国外已经有了一些基于计算机的考试与评估系统，但是这些专