高职英语作文智能评阅与人工评阅对比与分析.docVIP

高职英语作文智能评阅与人工评阅对比与分析 　　摘要：冰果英语智能作文评阅系统是冰果英语针对高等院校学生英语写作教学推出的机器自动评阅大批量学生作文的服务产品，其目的旨在帮助教师减轻大批量批改作文的负担，使学生多练多写，从而提高学生的写作能力。本研究以广东科技学院2012级计算机专业专科大一的两个班级（80人）的高职英语作文样本为研究对象，将冰果英语智能作文评阅系统与人工评分进行对比和分析，旨在探讨冰果智能作文评阅系统与人工评分的差异性及一致性。 　　关键词：高职英语作文；智能评阅；人工评阅；对比；分析 　　中图分类号：H319文献标识码：A文章编号：1006-026X（2013）12-0000-02 　　一、研究背景 　　英语作文是检验英语学习者写作能力的一块试金石。教师通过批改学生的作文，可以及时了解到学生在英语学习过程中存在的问题。然而，由于学生人数多、作文批量大、教师疲劳因素、时间因素、及情感因素等等，这使人工批改作文具有一定的主观性。近几十年来，“随着计算机硬件和软件及语言处理技术的快速发展，国内外一批批作文自动评分系统相继问世，如美国的PEG（Project Essay Grader），IEA（Intelligent Essay Assessor），E-rater（Electronic Essay Rater），IntelliMetricTM，及中国的冰果智能作文评阅系统等”（罗小莉，2012）。这些作文自动评分系统被应用到英语写作测试中，给作文批改带来了新的希望。“冰果英语智能作文评阅系统是冰果英语针对高等院校学生英语写作教学推出的机器自动评阅大批量学生作文的服务产品，目前很多国内高校（包括浙江大学、浙江工商大学、浙江理工大学等在内的浙江、上海和江苏的十余所高校试用）都在使用该系统” （李立，2009）。 　　但是，冰果英语智能作文评阅系统与人工评分的结果是否一致？该系统是否能真正反映出学生的真实语言能力？针对这两个问题，笔者对广东科技学院2012级计算机专业专科大一的两个班级（80人）进行了教学实证研究。 　　二、研究设计 　　1.研究对象 　　广东科技学院2012级计算机专业专科两个班级的学生（80人）参加了本次研究。参加本次研究的学生经过了大学一年级上半期的英语学习，掌握了基本的英语段落展开方式，系统地学习了语篇知识和组织结构。参与研究的英语教师则一直工作在教学一线，能够正确把握作文的命题与水平，并且公正地予以评估。 　　2.研究工具 　　本研究的工具是学生的作文样本。教师和自动评分系统对这些作文样本分别进行评阅。分数等级是0～15分，评阅方式是整体评分。 　　3.研究方法 　　我们采用的作文自动评分系统是冰果英语智能作文评阅系统。冰果英语智能作文评阅系统是针对高等院校英语写作教学推出的机器自动评阅大批量学生作文的服务产品。目前，很多国内高校（包括浙江大学、浙江工商大学、浙江理工大学等在内的浙江、上海和江苏的十余所高校试用）都在使用该系统。使用者普遍反馈，该系统能评出学生的实际写作水平。人工评估时，我们采用的是整体评估法，要求教师对学生的作文从语言、内容、篇章结构三个方面进行整体评分，并给出评语。 　　三、数据收集与分析 　　1.智能评阅与人工评阅结果的对比分析 　　我们收集了广东科技学院2012级计算机专业专科两个班级的学生80名学生的80份作文的电子文本，由智能评分系统和英语教师分别以整体评分的方式进行评分。为得到智能评阅系统与人工评阅之间的真正差异，我们选取了学生2篇作文样本进行对比和分析。 　　作文样本一： 　　说明：假设你是一位部门经理王平，给应聘者张辉回一封拒绝录用函。 　　内容：张辉来您公司应聘，无论其背景还是计算机能力都给您留下了一定的印象，但是求职者的计算机水平依然未达到公司的要求，加之没有受过有效的培训和工作年限不足5年，你（王平）不能录用他，特写此回绝录用函给他，同时表示感谢他对本公司的关注。 　　时间：2007年6月26日 　　注意：不要照中文逐字翻译，语气要显得客气，总分15分。 　　（学生样本一） 　　冰果英语智能作文评阅系统给学生样本一的这篇作文打出了7.8分，并给出了如下的语法错误与评语： 　　语法错误： 　　1.[语法问题]June 26，2007 　　2.[拼写提示]Zhang是不是：[Chang，hang，Chang，hang] 　　3.[搭配提示]sorry hire company inform 　　4.[句型提示]I m pleased：很高兴...[搭配提示]pleased 　　5.[搭配提示]certain computer 　　6.[搭配提示]trust will 　　7.[语法问题]sincerely yours， 　　8.[语法问题]Wang Ping