分步增值评分——提高主观题评分质量的有效方法.pdfVIP

心理学探新2015，V01．35，No．3，266—271 PSYCHOLOGICALEXPLORAllON 分步增值评分——提高主观题评分质量的有效方法 刘斯佳1”，张建新1· (t．中国科学院心理研究所，北京100101；2．中国科学院大学，北京100049) 摘要：主观题特别是作文题评分的客观性和有效性存在着一定的问题，有毖要通过优化评 分流程降低作文评分的误差程度。本研究通过多面Rasch模型对500份国家级考试作文题的评分 进行了分析，比较了分步增值评分模式和传统综合评分模式对评分成绩的影响。结果显示，相对 于综合评分模式，分步增值评分模式对评分结果的分布和区分度更好、评分者在评分偏差程度指 标上的表现更加理想。虽然作文题评分依然普遍存在着评分等级不一致的问题，但采取分步增值 评分模式可以提高评分成绩的合理性，并且更好地控制评分者评分成绩问的差异。此外，这种评 分模式还能有效提高评分程序的效率。 关键词：作文；分步增值评分；综合评分；多面Rasch模型；评分效率 中图分类号：B841．2 文献标识码：A 文章编号：1003—5184(2015)03—0266—06 1问题的提出 误差程度。 1．1 主观题评分中存在的问题 1．2分步增值评分模式 主观题包括简答题、论述题、应用题、作文题等。 在此背景下，国外研究者提出了分步增值评分 相对客观题，主观题能更为真实地反映考生的能力， 模式(rating 因此被广泛运用于人员选拔考试和语言类考试中， 对人员的录用和筛选具有重要的现实意义。然而， 在国内首先对这种评分模式进行了介绍。分步增值 主观题评分的客观性和有效性却不容乐观(关丹 评分模式首先在较为宽泛的档位上(benchmark)对 丹，2008)。前期研究发现甚至某国家级考试论述试卷进行打分，比如1至4档；然后评分者通过附加 题依然存在评分员宽严程度异常的现象(李中权， 分数对试卷倾向性(1ean)进行评估，以“+”“一”进 孙晓敏，张厚粲，张立松，2008)。作文题作为一种行表示；最后分数通过统一算法转化为数值，形成考 复杂主观题型，其误差控制问题相较其他类型的主 生的原始成绩。这种方式可以帮助评分者确保评分 观题型更为棘手，也更早受到研究者关注(刘远我， 成绩的一致性和区分性。分步增值评分模式近期在 张厚粲，1998)。有研究发现，评分员对作文评分宽国外的作文评分和言语类考试评分中得到了较为广 严程度同样存在着显著差异(刘红云，陈阅，骆方， 王云峰，2010)。 主观题评分的信度受到许多因素影响，包括题 之后，尚未发现分步增值评分模式的实证研究。 目难度、评分程序复杂程度、评分者间差异等等。有 1．3评分模式的量化考察 作者指出评分者误差复杂性最高(王博，卞冉，车宏 在另一个方面，如何选择方法更好地量化主观 生，王蓉，2012)。评分者因为不能很好地掌握评分题的评分评价也是需要考虑的一个问题。关丹丹 标准，造成他们在评分过程中认知负荷过大，对不同 (2008)认为项目反应理论对于主观题的评分评价 等级评分标准认识模糊，从而扩大了评分误差；另一 具有较明显的优势，并且特别对多面Rasch模型 方面，为了减少认知负荷，评分者可能形成保守的打 分策略，使考生评分结果难以进行区分(Gilfert生模型，可以很好地量化主观题的区分度以及评分 Harada，1992)。王博等(2012)对某大型人事考试者评分时的宽严程度和偏差程度，MFRM模型在往 评分分析中，首次描述了保守现象的“习得”过程。 期研究中较为常见(李中权等，2008；刘红云等， 可以预见的是，作文的评分过程可能存在更为严重 的失真现象。因此，在有效评价主观评分误差的基 传统综合评分模式和分步增值评分模式对于评分结