基于评价命题资源配置优化策略研究.docVIP

基于评价命题资源配置优化策略研究 　　［摘 要］在充分调研考试中心命题管理业务基础上,本文分析命题组卷过程中以及考试实施后反馈的命题质量数据,针对影响组卷命题质量的各种因素,将影响命题质量的相容和不相容的因素进行综合考虑,建立了命题质量综合评价基元模型。在命题质量综合评价模型基础上提炼出命题专家资源决策因子,设计命题管理资源优化配置服务平台,帮助命题机构合理管理并优化命题资源。 　　［关键词］命题；质量管理；优化策略 　　［中图分类号］TP314 ［文献标识码］A ［文章编号］1005-6432（2011）35-0135-02 　　 　　考试是教学工作的一个重要环节,是评价教学质量、实现教学计划和教学目的的一种手段,在教学过程中实施了“教考分离”考试制度模式,通过考试反馈信息准确地反映教师教学质量,能切实提高教学质量,充分发挥师生的教学及学习积极性,更好地实现以考促教、以考促学、以考促管和以考促改的考试目的。 　　实施 “教考分离”不是单纯的考试模式改革,本文将从教育现代化管理模式的观点出发,通过对命题管理的基本任务和重要性的评述及对命题管理的目标分析,设计了科学合理的统一命题过程命题质量和命题资源评价方法,并在此基础上提出命题资源优化配置方案,以促使考试管理工作的各环节向标准化、规范化、目标化方向发展。 　　在命题实施过程中,命题质量可能受到任务目标、方案设计和组卷加工等因素影响,这些因素有些是定性为主,而另外一些是定量为主,有些对质量产生正面的影响,而另一些则会产生负面的影响,为得到更加客观的评价结果,必须将一些矛盾因素进行综合考虑。 　　通过跟踪和监控教考分离过程,对命题的业务质量数据进行分析,发现数据背后的知识,能够找出业务特性值与命题质量间的联系,如命题目标及其反馈结果之间、分析命题与命题之间,命题与命题专家之间的关系。对统一命题质量评价依据主要来自组卷过程中的相关数据和答卷批阅结果的明细数据,其中答卷批阅数据是海量数据,需要建立数据仓库,在已建立的数据仓库基础上,采用多维分析模型分别对命题过程中的问题数据及阅卷反馈数据进行多维分析,然后采用数据挖掘方法对用户指定的试卷质量进行评价,计算命题业务统计数据,根据评价结果提供给命题资源配置优化决策者参考使用。 　　1 命题质量分析评价 　　为了让命题管理机构更科学的实现资源配置优化,必须首先直观的了解和发现命题过程缺陷。对于某次考教分离下的命题质量来说,主要受到三大方面的因素的影响,包括考试目标设计因素、命题方案设计因素和命题组卷加工因素,从多角度分析对可能造成命题缺陷的因素有更深入了解,可以利用OLAP技术通过主题确定、OLAP建模和编程实现三个步骤建立的命题质量多维分析模型。 　　其中OLAP主题包括命题过程数据分析和命题实施数据分析两类。命题过程数据分析主题可以从试题、组卷工序、素材、缺陷发生类型来分析采集的信息,命题实施缺陷数据从试卷、时间、缺陷的类型、缺陷的原因、阅卷情况来分析,可以让命题管理者更加直观的查看考试实施后命题缺陷的情况。 　　在已建立的数据分析主题多维模型基础上,可以采用基于决策树算法和基于关联规则方法的命题质量数据分析方法,分析各命题判卷反馈数据,判断各命题质量,分析命题反馈结果及其相关联命题反馈结果，分析命题与命题之间、命题与命题专家之间的关系,发现命题资源库中关联规则。分析结果部分规则如表1所示： 　　2 命题资源评价 　　从表1规则可以看出命题质量主要取决于命题专家的命题能力。为了使命题机构对命题质量状况有一个总体的把握,提高命题管理的效率,有必要对命题资源配置进行评价和筛选,即在公正、公开、公平的考试命题背景下从待选命题教师资源库中挑出最适合本次命题任务的命题专家队伍。 　　如果沿用传统方式,即经验型的、手工作坊式的命题资源进行评价,在提高考试命题的质量和效率方面是无法取得突破性的进展,走在信息化前列的上海自考中心采取试题管理软件+试卷的题库模式,建立命题教师管理系统、卷库管理系统和试卷考后分析评价系统。其中试卷考后分析评价系统可根据需要选择经典测验理论和项目反应理论对数据进行统计分析,包括试题的平均分、标准差、信度、区分度、难度、效度、项目信息量、被试能力估计等等；能够最终生成并输出标准化的分析评价报表。通过考后分析评价,为进一步提高自考命题质量和管理水平指明方向；可与通用题库考前初评系统的评估报表进行对比分析,及时反馈；为其他信息系统提供必要的数据支持,如命题教师管理系统中的教师评价部分等的支持。 　　命题管理队伍的专家由本学科领域内具有较高的业务水平,教学经验丰富,治学严谨,作风正派,善于合作的教师组成。命题专家的命题能力也可以通过定性和定量评价,判断其合格程度。具体包括命题专家专业命题业务能力、历