合印象评分法作文分事后调整模型.pdf

心理科学 Psychol,RicalScience 2005,28(6):1459一1462 1459 一个基于综合印象评分法的作文分事后调整模型 ‘ 朱正才镶由 杨惠中 (上海交通大学外国语学院 上海.200240) 摘 要 对大学英语四、六级考试作文评分进行了详细的描述，重点介绍了作文分的事后调整的原理和方法，并且给出了一个 基于线性等值原理的数学推导。认为其数学模型主要是一个运用了 极“大似然估计法”和 “正态分，概‘念的统计模型。评“分标 准的制定’、“用参照样卷来校准阅卷员对作文评分标准的掌握尺度 “以及 “阅卷员的培训和考核’构成了大学英语四、六级考试 作文信度的基石;而作文分调整 巾基干一随机分发作文卷 、客“观题分致与作文分相关”以及闷评分前后一致性’的统计方法则对 出现系统性误差的阅卷员的评分结果进行了事后的校正。还提出如果拥有往次考试总体作文分均值数据，使用 “加权移动平均 法”可以实现对作文分的跨考次平衡。 关健词 :信度 作文分调整 正态分 finders)川，准确地体现评分标准中的五个档次，作为培训阅卷 1 前言 员的统一标准之用。同时再选二十篇作文，分布在分数段的 对作文评分信度影响最大的是评分过程。同一篇作文， 全距，准确评好分数，但将分数隐去，供阅卷员试阅，以观察阅 不同的阅卷员可能给出不同的分数。提高作文阅卷的信度就 卷员掌握评分标准的程度，并且通过试阅和讨论统一思想，使 是要保证评分过程当中评分的一致性，包括阅卷员本人的一 阅卷员准确掌握评分标准。 致性、阅卷员之间的一致性和阅卷点之间的一致性，要采取一 22 实际评分时要求阅卷员在一读而且只能是一读的基础上 定的质量控制措施尽量减少和滤除阅卷员的主观性对分数的 打 印象分 影响。 评分的原则是奖励，而不是扣分。阅卷员只需要判定某 近年来对作文评分的研究发展也很快。作文题的评分通 篇作文卷相当于哪个档次的参照卷，然后相应判分，在一个档 常有两种方法:一种是综合法，一种是分析法。分析法是把一 次内略高略低，完全由阅卷员凭印象评分。 篇作文分解为若干要点，如内容、结构、文章连贯性、语法、词汇 2.3 要求每名阅卷员所阅作文卷的得分与这些考生客观题的 等，不同的要点也可作不同的加权处理，各要点得分的总和即 得分相关系数大于0.4 为全篇得分。综合法是凭阅卷员通读一遍的总体印象打分。 若相关系数太低，说明该阅卷员缺乏评分一致性，忽高忽 综合法的优点是能从总体上把握通篇印象，评卷速度比较快。 低，超出系统误差允许的范围，则第二年不再聘为阅卷员。每 考虑到大学英语四、六级考试规模太大，采用综合法和一读的 位阅卷员都有代号，这样就逐步建立起一个稳定的阅卷员队 评分方法，然后根据考生的客观题得分进行调整，滤除系统误 伍。 差。 2.4 对阅卷员的要求首先是严格掌握评分标准，其次是评分 本文将在2001年 6月 165万余四级考生作文分及其调整 要保持一致性 数据的基础上，详细地描述和分析大学英语四、六级考试中作 阅卷员阅卷不论偏宽或偏严，要求在整个阅卷过程中评 文评分的过程、阅卷员评分误差的控制方法和原理以及还可 分标准能保持一致(阅卷完成后，每名阅卷员所阅作文卷的得 能存在的问题。本研究的结论可能对我国大规模考试中作文 分与这些考生客观题的得分相关系数就是一个重要的统计指 评分信度的评价和改进都具有一定的借鉴意义。 标)。做到了这一点，则差异呈规律性，属系统误差，可以通过 考生总体主观题和客观题得分的相关性，以每个阅卷员为单 2 作文评分和评分信度保障