国内作文自动评价系统应用探究综述.doc

国内作文自动评价系统应用探究综述 　　【摘要】本文回顾了国内作文自动评价系统的应用研究成果，指出了该领域存在的不足及未来的研究方向 【关键词】作文自动评分系统 写作水平 认知研究 自动反馈 国外自动写作评价系统（Automated Writing Evaluation）如Criterion不仅提供及时评分，还从内容、组织结构、词汇及语法方面提供详细的反馈与指导（Dikli，2006），因而被不断应用到课堂写作教学中。国内AWE的应用相对较晚，近年国内有也少数的AWE系统如句酷批改网等被开发出来辅助高校英语教师写作教学。本文对国内AWE研究进行梳理、评述，并指出该领域未来的研究方向 作者将关键词“在线评估”、“自动作文评价系统”、“写作教学”及“应用研究”输入“中国期刊网”，结合手工检索筛选出的外语类中文类核心期刊论文主要涉及三个研究方向：1）AWE的使用与学生写作水平的关系；2）使用者如何利用AWE及其认知与态度；3）自动反馈（Automated Feedback）研究 一、AWE的使用与写作水平的关系 此类研究将受试分成实验组与对照组，并利用前测后测来解释这一关系。周颖（2011）以43名英语专业二年级学生为受试，利用WRM 2.0进行了为期一学年的实验教学。前测显示实验组与对照组在总分与各维度（内容、结构等）的成绩无显著差异，后测实验组在各纬度的分数显著高于对照组，得出结论AWE融入写作教学能提高学生的写作水平。此外该研究还指出物理环境（网速慢等）、学术环境（课程繁忙等）和管理?h境（缺乏网络教育理念等）三方面的因素可能会影响在线写作水平的发挥。蒋学清等（2011）指出实验组与对照组前测无显著差异，经过一学年的学习，两组受试英语写作水平均有显著提高，后测显示实验组受试在结构、语法、规范及总分维度上显著高于对照组，这说明AWE的融入对提高学生写作能力可以发挥积极的作用。但该研究同时发现WRM 2.0对作文的思想内容、语体、选词和句式变化方面的指导远远不足。唐锦兰、吴一安（2012）将460名受试分为5个实验组和5个对照组，结果显示实验组在各维度的分数显著高于对照组。于莉等（2012）以大一非英语专业学生为受试，采用干预式教学方法，即每次在线写作任务完成后教师就详解系统提供的反馈；前后测使用同一个写作任务。研究表明受试在结构、流畅度、语体和规范方面有较大提高，但在词汇、思想内容方面提高不多 顾成华、王丽（2012）利用句酷批改网，以114名非英语专业学生为研究对象进行历时一学期的研究。后测显示实验组成绩显著高于对照组，批改网的使用有助于提高学生写作水平 鲁艳辉等（2010）对80名大二学生进行了为期10周的研究，以冰果自动评分系统为工具。受试被分为男、女生组及高、低分组。研究者从10次写作文任务中抽取第1.5.10次作文进行对比分析，发现所有受试整体成绩有所提高，该系统对于改变学习者的写作策略有一定的促进作用。经过训练，男女生组写作成绩无显著差异，低分组写作水平显著提高。受试在写作篇幅、错误、语言表达、句法、逻辑衔接等方面均有所提高。不足的是该研究没有设置对照组，这就很难说明成绩的提高与AWE的辅助有关 上述研究结果均较为积极，即AWE的融入有利于提高学生的写作成绩。但该类研究在设计上还存在以下不足。第一，前后测的实施方式有待商榷。若实验组和对照组前后测任务均为在线写作，与写作构念（writing construct）不相关的因素就有可能影响写作成绩，特别是后测的成绩。实验组因受长期训练必定能克服此类障碍，而对照组利用电脑写作次数少，因此在完成与实验组相同的写作任务时会处于不利因素，成绩可能会较实验组低。第二，研究设计中控制变量的阐述不详，如两组受试是否接受同样的教师课堂讲解，写作任务训练的次数是否相等都不得而知 二、师生对AWE的认知研究 学生对AWE与写作水平关系的认知。多数受试认为AWE提供及时的反馈、增加修改次数、增长作文的篇幅，有助于英语写作水平的提高。同时认为AWE的反馈与教师反馈相结合更有助于写作水平的提高。现阶段的在线写作评价系统允许教师增加反馈并对系统的反馈错误进行纠正，任课教师若能增加适当的反馈，就能提高反馈的效度，对学生作文提供更准确的指导 学生对评价系统优缺点的认知。问卷和访谈结果显示AWE在文章结构、词汇以及规范方面提供有效指导，评语具有一定参考价值，具有自主性、诊断性、快捷性等特点。学生普遍接受AWE融入英语课堂教学 同时也指出了AWE的许多缺点。第一，在思想内容、逻辑连贯、文章结构以及遣词造句等方面AWE无法提供有效反馈。需要教师进行在线写作指导，增加遣词造句、思想内容等反馈弥补系统反馈的不足。第二，系统提供的评语流于形式，反馈多为提示性，不够