基于句酷批改网学习者写作水平反馈效果研究.docVIP

基于句酷批改网学习者写作水平反馈效果研究 　　摘 要：句酷批改网是一款国内众多高校采用的自动作文评阅系统，为英语写作教学提供辅助方式。本研究采用个案分析比较了高分档和低分档共10篇作文人/机评阅的一致性，结合系统对两档作文的反馈，探讨句酷批改网对学习者写作水平的反馈效果。结果发现，与低分档作文相比，高分档作文人/机评阅一致性较高，系统打分能够反映学生真实的写作水平。因此，在教学过程中，只有教师和学生相互配合才能使自动作文评阅系统真正成为学生英语学习的好导师，老师教学的好助手。 　　关键词：自动作文评阅 个案分析 反馈 　　一、引言 　　随着教育技术的发展，计算机自动作文评阅系统越来越广泛地应用到二语写作教学中。它替代了人工评阅和反馈，减轻了教师批改作文的负担，为写作教学提供了辅助方式。句酷批改网是国内开发研制的一款基于语料库和云计算的英语作文自动批改在线服务系统。通过计算学生作文和标准语料库之间的距离系统自动生成得分。每篇作文的分数由192个子维度构成，加权平均后从词汇、句子、篇章和内容四个维度进行全面评价，并反馈句子错误、搭配统计、词汇辨析等信息，学生可根据反馈多次修改作文，直至满意为止。本文将通过个案分析的方法，对句酷批改网（简称“句酷”）对学习者写作水平的反馈效果进行探讨和分析，并提供合理的教学建议。 　　二、研究设计 　　本研究的研究对象为就读于某高校英语专业二年级学生，他们被要求就“reality TV show”的话题在线提交一篇作文。系统共收到40篇作文，由句酷按照英语专业四级写作打分方式提供反馈和修改。根据系统分数选取高分档和低分档各5篇作文，交由老师评阅，然后进行人/机评阅一致性对比。我们还比较了高分和低分两档中人/机一致性较低的两篇作文的句酷系统评价、按句点评和反馈类型，对系统的优点和偏差加以分析和说明。本研究旨在回答以下问题：（1）人/机评阅是否具有一致性？（2）系统评阅的反馈效果如何？是否反映学习者写作水平？ （3）对写作教学有什么启示？ 　　三、研究结果和讨论 　　（一）人/机评阅一致性 　　10篇高分档和低分档作文由机器和人工按照20分制打分，就评阅结果来看，人/机评阅没有完全一致的分数，总体来说机器评阅的分数比人工评阅的分数高，尤其是在评阅低分档作文时这一结果更为明显。如表一所示，高分档作文中40%人/机评阅完全一致，60%缺乏一致性。而低分档作文一致性检验结果发现，80%的人/机评阅完全不一致。 　　句酷是根据系统设定的几个维度评阅作文，它们的占比为词汇32%，句子21，篇章结构18%，内容相关5%及其他24%。可能由于系统对篇章、搭配和内容的识别能力有限，对低分档作文中逻辑不清楚，语义模糊，不知所云之处无法完全辨别，只要达到系统设定的维度标准即可获得较好的分数；而人工评阅时会综合考虑以上维度，使得低分档作文分数较机器评阅低，人/机评阅的一致性较差。 　　（二）高低分作文反馈 　　为了进一步探究系统的反馈效果，我们就两篇作文样本进行了系统反馈的比较。表一是两篇作文的总体评价。从总体评价来说，尽管高分作文比低分作文较多正面反馈，但是并没有明显的差别，低分作文的?体评价中缺乏负面反馈，无法体现出两档作文质量上的差异。另外，总体评价偏重词汇和句子层面，涉及篇章结构和内容相关的评语较少，对作文质量的评价不够全面。比如，低分作文不符合写作任务的三段式要求，只有一段文字内容，然而该作文的篇章缺陷未能在总体评价中体现，因此句酷在篇章或内容等复杂的评价维度上还有所欠缺。 　　除此之外，我们还比较了系统对两篇作文的按句点评，分为正面反馈和负面反馈两种类型。正面反馈有推荐表达、学习提示、拓展辨析和闪光短语，而负面反馈包括搭配错误、语法错误、句子错误和各类词性错误。研究发现，高分作文的正面反馈有22项，负面反馈4项；低分作文有19项正面反馈，与高分作文相差不大，但是负面反馈有12项，远远高于高分作文，这或许是该作文系统打分较低的原因之一。例如： 　　[拓展辨析] 动名搭配 contain...information 在语料库中出现过407次； 　　[学习提示] 易混词汇： walk， stride， stroll， strut， pace 均有“行走，徒步”之意。 　　Walk： 最常用词，中性词，指除跑、跳之外所有移步的动作。 　　Stride： 着重步子大而且节奏有力，流露出匆忙、烦恼、得意等情绪。 　　Stroll： 多指走走停停，步子缓慢，悠闲自得，漫无目的。 　　Strut： 指大摇大摆地走，含过分自信或自高自大意味。 　　Pace： 指踱步，走步。 　　[搭配错误] people be indifference疑似搭配有误 　　[语法错误] is means：