大规模英语口语考试跟读题型采用机器阅卷可行性分析与实践研究.docVIP

大规模英语口语考试跟读题型采用机器阅卷可行性分析与实践研究 　　摘要：本文介绍了自主研发的英语口语跟读题型机器阅卷系统，该系统采用以非特定人标准英语发音音素模型为基础设计的口语发音评测技术。文章分析了在大规模英语口语考试跟读题型中，机器阅卷取代人工阅卷的可行性和必要性。文中针对大学英语四、六级计算机网络考试试点测试的4010句考生录音数据，进行人工阅卷和机器阅卷实验对比分析，实验数据表明，两者的相关度为82.7％。本文还针对如何进一步提高机器阅卷的性能提出建议。 　　关键词：英语口语考试；跟读题型；机器阅卷；人工阅卷 　　中图分类号：H319.3　文献标识码：A　文章编号2009)02-0010-0006 　　 　　2002年开始的新一轮大学英语教学改革，是指大学英语教学需以提高大学生的英语听力能力为主，以带动英语综合能力的提高为目标。作为检验教学效果的大学英语四、六级考试，在考试内容和考试方式上都将进行相应的改革：考试内容方面的改革，试题设计需要能够考查学生是否掌握了自主学习和不断提高英语实用水平的可持续发展能力；考试方法改革的思路则是采用信息技术，推进计算机考试。 　　随着社会对英语的需求越来越大，报名参加大学英语四、六级考试人数的不断增多，四、六级考试已成为世界单科考试参加人数最多的考试之一，每年达到1000多万人次。作为新增加的一项考核内容，英语口语考试将采用跟读题型。在这么大规模的考试中，如果采用人工方式阅卷，需要完成繁重的工作量，同时难以保证整体阅卷的公正性和一致性。 　　 　　2008年10月，全国大学英语四、六级考试委员会分别在北京、南京、西安和哈尔滨进行了大学英语四、六级计算机网络考试的试点。本文引用的实验数据来源于对本次试点测试的考生口语数据、考试委员会组织的人工阅卷以及清华大学和北京凌声芯公司提供的机器阅卷评分结果。本文将依据此次试点考试的实践，论证在口语考试跟读题型评分中机器阅卷的可行性，并详细分析机器阅卷较人工阅卷之优点，以及在大规模英语口语跟读题型考试中，为更好地发挥机器阅卷的优势所提出的一些建议。 　　 　　1 口语考试采用跟读题型研究及阅卷分析 　　 　　1.1　口语考试中的跟读题型 　　英语口语考试大致可分为直接口试(OPI，Oral Proficiency Interview)和半直接口试(SOPI，Simulated Oral proficiency Interview)。直接口试由受过培训的考官主持并当场评分，内容包括对话、讨论和角色表演等，UCLES考试体系的口试常采用直接口试形式。半直接口试利用统一的录音材料和书面材料获取考生的口语话语样本，并进行即时录音，然后，考官听取录音带进行评分，TOEFL考试的口试部分采用半直接口试。 　　在口试实践中，到底采用直接口试还是半直接口试，应根据具体情况下测试的类型和测试的目的进行选择。Stansfield认为OPI更适用于分级考试和课程评估测试；而SOPI更适用于信度要求较高的大规模考试。许多研究者还对两种口试形式的共时效度进行了分析。Stansfield利用Pearson相关系数对两种口试形式的评分结果进行分析，发现两者相关度在0.89至0.95之间。1992年，Stansfield和Kenyon利用概化研究G2study对评分误差进行了分析，结果表明考生在语言能力上的差异是导致评分结果差异的主要因素，口试形式对评分结果并不造成显著差异。较近的研究有Kenyon和Rschirner 2000对ACTEL德语测试的研究，研究结果与前人研究基本吻合。从这些对评分结果的定量分析结果来看，直接口试和半直接口试评分结果高度相关，两者具有可替代性。 　　 　　在英语口语考试中，常用的直接口试的题型包括：模仿(由考官朗读或播放录音，学生跟读)、朗读(考生准备数分钟，看着文字朗读)、对话(考生回答考官或录音中就短文提出的问题，要求学生就考官或录音所说出的日常交际用语作出相应的回答或反应，考生也可以就语言材料对考官提问或分角色对话等)、独白(考生看图说话，按中英文提示描述或叙述事件、人物和物件等)、讨论或争论(考生之间根据试题的提示，进行讨论或辩论)、面试(interview)(考官通过多种提问技巧，多层次多角度地观察学生的口语能力，也允许学生向考官提问)等多种方式。 　　跟读题型遵循模仿的原则来复述所听到的标准发音，可以综合考察学生的英语听力水平、语句理解、记忆、复述以及语音精准程度等能力，考试效度比较高。 　　跟读题型的设计，完全符合当前我国实施大学英语教学改革“以听力为纲”、解决学生的自主学习和可持续发展能力问题、全面提高英语综合能力的基本思路。 　　目前，大学英语四、六级网络考试采取的跟读题型