大学英语作文智能评估与人工评估对比分析.docVIP

大学英语作文智能评估与人工评估对比分析 　　摘要：作文是大规模语言考试中的一种必考题型。通过作文可以检测应试者综合运用语言的能力。然而，由于疲劳因素、情感因素和不一致性，人工评阅作文具有很强的主观性，人工评估成绩在信度和效度方面存在着不可避免的问题。近几十年来，随着计算机硬件和软件性能快速提高，自然语言处理等技术获得了长足的发展，国内外一批作文自动评分系统相继问世，并被应用到英语写作测评中。本研究将作文自动评分系统给出的智能评估与人工评估进行对比分析，旨在探讨二者之间的吻合度以及二者对学生学习需求的满足程度，提出只有使电子智能有效地辅助人工评估，才能真实地测试出学生的实际语言应用能力，并帮助学生有效提高写作能力。 　　关键词：英语作文自动评分系统；智能评估；人工评估 　　作者简介：吴丹（1979-），女，湖北鄂州人，北京工业大学实验学院，讲师；张青妹（1972-），女，黑龙江哈尔滨人，北京工业大学实验学院，副教授。（北京#8194;100024） 　　中图分类号：G642.0#8195;#8195;#8195;#8195;#8195;文献标识码：A#8195;#8195;#8195;#8195;#8195;文章编号：1007-0079（2011）01- 0177-02 　　 　　一、研究背景 　　要学好英语，写作起着极其重要的作用。国外的很多研究者也都认为写作是评价学习结果最有用的工具。学生需要通过不断的修改和练习，提高写作能力，但是作文评分与批改既费时又费力，给英语教师增加了沉重的负担。部分教师并没有足够的时间去批阅全部学生的作文，只能采取批阅部分学生的作文的方法，导致一些学生对写作作业采取敷衍的态度，打消了他们认真完成作业的积极性；还有的教师虽然能全部批阅学生作文，但是减少了学生练习写作的作业量，使学生不能充分应用其所学的语言及语篇知识。随着计算机多媒体技术在大学英语教学中的广泛使用，英语作文自动评分系统已成为广大英语教师改革英语教学手段和方法的切入点。英语作文自动评分系统在英语教学中的应用在一定程度上缓解了英语教师人工批阅作文的工作量，因而受到很多教师的青睐。然而，智能评估与人工评估是否具有一致性？二者是否都能满足学生的学习需求？人工评估是否能被智能评估完全替代？针对这些问题，我们对北京工业大学实验学院学生的英语作文进行教学实证研究。 　　二、研究设计 　　1.研究对象 　　北京工业大学实验学院08级355名非英语专业大学二年级本科生和5位英语教师参与了本次实验活动。参与实验活动的学生经过一年多的大学英语学习，掌握了基本的英语段落展开方式，系统地学习了语篇知识和组织结构。参与实验活动的5名英语教师则一直工作在教学一线，积累了一定的教学经验，能够正确把握作文的命题与水平，并且公正地予以评估。 　　2.研究工具 　　我们这次实验研究的工具之一是学生调查问卷。问卷内容包括两个方面，共八个问题。第一部分调查学生对待智能评阅的看法，第二部分调查学生在写作评阅中的需求。调查问卷中的这八个问题都是封闭性问题，为多项选择题形式，要求学生根据自己的意愿做出选择。我们的另一个研究工具就是学生的作文样本。教师和自动评分系统会对这些作文分别进行评阅。分数等级是0～15分，评阅方式是整体评分。 　　3.研究方法 　　我们采用的作文自动评分系统是冰果英语智能评阅系统。冰果英语智能作文评阅系统是针对高等院校英语写作教学推出的机器自动评阅大批量学生作文的服务产品。目前，很多国内高校都在使用该系统。使用者普遍反馈，该系统能评出学生的实际写作水平。人工评估时，我们采用的是整体评估法，要求教师对学生的作文从语言、内容、篇章结构三个方面进行整体评分，并给出评语。 　　我们首先对教师进行简单的培训，教会教师如何使用冰果智能评分系统。英语教师将作文题目和写作要求输入到系统中，每隔两周给学生布置1篇作文，作文体裁包括议论文、图表作文、书信作文和故事叙述。 　　英语教师将布置的作文题目和要求输入到冰果智能评分系统后，会有一个相应的作文编号。学生可根据编号查到作文题目和要求。按要求完成作文后，学生将文章的电子版提交到系统中。在作文提交截止日期之后24小时内，系统会对学生的作文进行1分至15分的整体评分。而英语教师也将对学生所提交的英语作文进行评阅，教师只需在相应部分的分数后画勾，之后给出学生总体分数和各部分评语。为了保证人工评阅不受到作文智能平分系统的影响，智能评分系统的评分成绩由1名教师保管，只有在人工评阅全部完成后，教师们才能查阅智能系统的评分成绩。我们利用SPSS软件对这两种评估结果进行分析，探讨二者之间的相关性。对学生调查问卷的分析将有助于推断智能评估是否能完全取代人工评估。 　　三、数据收集与分析 　　1.智能评阅与人工评