英语教师作文评分中异同及倾向性研究.docVIP

英语教师作文评分中异同及倾向性研究 　　 摘要:本文主要阐述如何应用语言测量指标对作文评分员评分特征和倾向进行检验以发现不同评分员之间的异同及评分倾向。在我们对测量指标及作文评分的分析研究中发现，利用统计手段可以得出不同评分员之间的具体异同。结果显示所有评分员都注重的语言表现和特征有文本长度和被动时态的使用数量，而不同评分员之间也存在差异及不同的侧重点。这一研究通过对教师评分和指标测量结果进行统计、检验、分析，不仅有助于发现评分员之间的差异以及不同评分员的具体的评分倾向性，而且对于了解作文评分员，促进语言教学实践以及提高作文测试的可靠性都能提供方法上的参考。 　　 关键词：作文评分 语言表写指标 评分倾向 　　 　　1 前言 　　目前，英语写作作为一种比较直接的考查英语学习者语言使用和写作能力的方式已经被应用于几乎所有的国内外考试之中，有的还包括有大作文和小作文两种写作形式。然而，对写作的评分由于其不可避免的主观性和评分员个体倾向性的存在，评分的信度问题依然令人担忧。评分教师评判上差异的存在是客观存在，由此，在测试领域有许多对作文评分员之间差异进行测试和调节的研究和做法，其中多层面Rasch模型分析是常用的一种，参考文献可见田清源（2006），孙晓敏，薛刚（2008）等。这种方法可测出评分员的宽严和写作任务的难度等方面的差异，在评分层次上是一种有效的检验方法，可以调节各评分员之间的差异。然而，对评分员之间到底是在什么地方出现差异这样具体的问题，多层面Rasch模型还不能解答。 　　设想，如果我们能对不同评分员之间的异同不仅仅是在评分的宽严方面，而且在语言层面上都有更进一步的了解，那么我们就能更加细致的了解写作评分员内在的评判标准。获取这方面的信息对于写作评分将起到重要参考作用。由此，基于我们对学习者英语写作表现所进行的测量分析和研究的基础之上进行了对评分员的调查分析。基本思想是，既然我们可以用测量指标对学习者的语言表现和语言特征进行测量和探究，那么这些指标也应该适用于或者说有助于对写作评分员的评分特征和倾向??行测量和分析。通过一系列的研究探讨，我们发现把学习者英语写作测量指标所获得的数据用于与评分员的评分结果进行统计检测分析可以发现，不同评分教师在评分中的异同和倾向性，所得到的结果具有重要参考价值，由此，拟以本文简要报道这一探究过程并对其结果及意义做一定讨论。 　　2 学习者英语写作表现及语言特征的指标性测量及数据的获取 　　对英语学习者所进行的语言测量总的有两部分工作：第一是学习者文本的获取；第二是写作测量指标的确定及数据的获取。文本的数据获取来自一次大规模的写作实验，受试为211高校英语专业一年级和三年级以及非英语专业一年级至三年级的学生，每一个班级都有超过30人参加写作实验。在学生完成学做任务之后，我们在每一个班级随机抽取30人的文本，5个班一共150人，由于每位学生都完成了两项写作任务，因此一共获取的文本是300份。 　　对于测量指标的确定主要根据文献中所使用过的指标进行归纳和梳理而获得。根据文献，我们对众多的语言表现测量方式从语言表现的三个方面进行梳理。Ellis(2005：139)认为从语言准确性（Accuracy），语言复杂性（complexity）和语言流利性（fluency）三个方面来分析学习者语言能给我们提供更全面，更平衡的关于学习者语言的信息，因为学习者在完成二语产出任务时（包括口头和书面的语言产出）都会在这三个方面有所侧重。需要说明的是，虽然常说语言表现测量涉及三大方面，但语言复杂性常常被分为两个次类，即：结构复杂性（syntactical compelxiy）以及词汇复杂性。结构复杂性也有研究者称为语法复杂性(grammatical complexity)（Ellis Barkhuizen 2005）。因此，在实际操作当中，我们是把指标归为四个方面：即，语言流利度，语言准确度，语言结构复杂度和词汇复杂度。 　　在综合了文献中（主要文献有Wolfe-Quintero等人1998，Ellis,R.G.Barkhuizen.2005，陈慧媛2008，2010以及其他文献）关于语言表现不同方面的测量指标之后，我们从中筛选出了一个可操作的比较全面的对英语作为第二语言/外语学习者语言表现进行测量的总体量表，一共66项（限于篇幅，有关指标的具体内容和其他相关问题，有兴趣的读者可以与作者联系）。这一指标量表的甄选有这样几个原则：1）平衡语言不同方面的指标数量；2）主要选用适用于书面写作的测量指标；3）易于操作。第3点很重要，如果一项指标定义会引起编码分析中的混论或不统一，我们就不采用或换一个能明确定义和较易操作的。例如，在Wolfe-Quintero等人（1998）的文献中测量语言准确度的指