AI表现性任务评分量规开发与校准的方法.docxVIP

AI表现性任务评分量规开发与校准的方法

表现性任务强调在真实或接近真实的情境中考查学生综合运用知识解决问题的能力，其评价结果很大程度上依赖于评分量规的质量。一份设计良好并经过校准的量规，能够使不同评价者对同一表现作出趋于一致的判断，从而保证评价的信度与效度。借助人工智能技术开发与校准量规，可以显著提升效率与精准程度，其整体方法可以沿着准备、编制、试评、校准、优化与迭代等环节系统展开。

在准备阶段，开发者首先需要明确表现性任务的目标定位与素养指向。任务考查的是哪种能力，涉及哪些知识领域，期望学生呈现出怎样的成果或行为，这些问题的答案构成量规编制的逻辑起点。在此基础上，应对任务本身进行结构分析，将整体的复杂表现分解为若干可观测的维度。例如一项科学探究任务，可以分解为问题提出、方案设计、操作实施、数据分析、结论表达等维度；一项口语表达任务，可以分解为内容组织、语言运用、仪态表现、应变能力等维度。维度划分不宜过粗导致信息丢失，也不宜过细导致评价负担过重，一般以三到六个维度为宜。同时要厘清各维度之间的边界，避免内容交叉重叠造成评分混乱。

在编制阶段，需要为每个维度确定评价等级并撰写水平描述。等级数量的确定应考虑区分的需要与判断的难度，通常三到五个等级较为适宜。水平描述是量规的灵魂，应当具体、可观察、可区分，避免使用笼统含糊的词语。理想的水平描述应做到三个清晰：一是行为清晰，说明学生在该水平上