高考作文网上阅卷双评过程中质量监控.docVIP

高考作文网上阅卷双评过程中质量监控 　　高考作文采用网上阅卷双评方式，能够有效控制评分误差，提高考试的信度和效度。但对于构建高考作文阅卷质量保障体系来说，技术改进仅仅是系统工程的一个方面，至少还应该加强以下四个方面的工作。第一，严格选拔阅卷教师。阅卷教师的素质是决定阅卷质量的关键。可以尝试建立阅卷教师人才库，利用每年对阅卷教师水平的评价，淘汰较差的老师，建立一支相对稳定、责任心强、业务水平高、作风正派的阅卷教师队伍。第二，有一套科学合理的阅卷流程和管理办法。阅卷流程应详细规定从试评、制定评分细则、培训教师到大规模阅卷的全部环节，宜细不宜粗。管理办法应包括阅卷组织管理构架(例如有的省市在高考阅卷中建立了科组长、监察员、题组长、小组长、阅卷教师的五级管理体系)和规章制度。第三，制定科学严谨、操作性强的阅卷评分细则。评分细则是对评分参考的细化，是阅卷教师评卷的准绳，合乎考生答题实际、科学严谨的评分细则，对于保证阅卷质量至关重要。第四，阅卷过程中有效的质量监控。此“过程”专指从大规模阅卷开始到结束这一段时间，不包括之前制定评分细则、培训和考核教师的过程，也不包括阅卷结束以后，利用数据评价闷卷教师水平的阶段。“质量监控”主要指从学科业务的角度对教师水平和评分合理性的监测和控制。 　　有效的阅卷质量监控，是以上四个方面工作的重点环节，也是薄弱环节。说是重点工作，因为再好的设计如果没有坚决有效的贯彻也是徒劳，对过程有效控制才能保证有良好结果：说是薄弱环节，因为在网阅过程中积累了大量的实时数据，有效利用这些数据，能够提高监控效率，提升阅卷质量，但现在存在片面使用数据和不充分使用数据的情况，没有及时或者正确地发挥数据的功效。基于此，本文主要围绕阅卷质量监控探讨若干问题。 　　 　　一、质量监控的维度 　　 　　在阅卷教师的评阅尺度与专家组制订的阅卷评分细则一致的前提下(此工作在教师培训、考核环节完成)，阅卷过程中质量监控要达到两个方面的一致：不同教师之间的评分尺度一致，每个教师不同时段的评分尺度一致。为达成这两个方面的一致，确定质量监控的维度如下。 　　 　　1　标准差、给分分布――离散趋势的度量 　　标准差指考生分数的离散程度，标准差的值越大，说明考生的分数越分散，标准差的值越小，则分数分布越密集，或者分数向平均分集中。 　　教师阅卷时，容易产生两种倾向。一种是朝着平均数打分，或者尽量多给中间档次的分数，或者确定档次之后，倾向于给该档的中间分，这种趋势我们称为趋中偏好；趋中偏好‘的相反是发散偏好，即相对于给中间分，更容易给两端档或两端分。 　　可以用每名教师所评题目得分的标准差与该题所有阅卷教师的标准差作对比，来衡量教师的离散趋势。当标准差太大时，该教师的评分具有发散偏好；反之，当标准差太小时，其评分具有趋中倾向。过于强烈的趋中或者发散偏好对阅卷的有效性和公平性都是有害的。 　　我们可以利用标准差检验教师的离散趋势，但是无法知道教师的评分主要集中在哪些区间，这时候就需要查看给分分布。给分分布把教师评出的所有分数以图表的形式呈现出来，通过查阅给分分布，就能掌握教师的打分偏好集中在哪个分数区间。 　　 　　2　平均分――掌握标准宽严的度量 　　把一组考生在某一试题上的得分依次相加，得到的总和再除以总的考生人数，得到的数值就是该试题的平均分。 　　教师阅卷时，对考生答题状况的评定容易出现偏松或偏严两种情况。在阅卷人数基本相等、有一定阅卷量的前提下，我们可以用每名教师所评题目的平均分与该题所有阅卷教师的平均分作对比，来衡量教师对标准宽严的掌握情况。当两者的平均分差异显著时，反映出教师对评分标准的掌握有待改进。 　　 　　 　　3　有效度――采用率的度量 　　有效度的界定首先涉及的是如何界定阅卷教师的有效评分的问题。在此。阅卷教师的有效评分可以界定为下面几种情况： 　　(1)双评差值未超出差值阈限(D)，则两位评分员的评分都记为有效。 　　(2)若双评差值超出差值阈限，此时试题交由三评评分；这时，三评(我们称其为丙)给出的分数和与之相近的双评中的一位阅卷教师(我们称其为甲)的评分共同决定了该试题的最终得分，当然，前提是这两个评分未超出差值阈限。这时，甲丙的评分都记为有效。 　　(3)与三评分数相差较大的另一个评卷员(我们称其为乙)给出的分数，若与最终得分差值大于D／2，则该评分被视为无效，若与最终得分的差值小于D／2，则该评分也被视为有效。 　　(4)若三评得分与甲乙任何一个得分的差值都超出D，那该试题将被提交给终评。终评得分作为该试题的最终得分。这时。甲乙丙三个得分中任何一个与最终得分差值超出D／2的，都将被记为无效；反之，则被记为有效。 　　有效度即每题上每个评卷教师评阅的有效数量与个人总工作量的