Ordinate与SpeechRater口语自动评分系统评述与启示-论文.pdf

第 158期 外语 电化教学 No．158 2014年 7月 CAFLE Ju1． 2014 ! ! ! ii ! ! 外语教育技术研究 J ： Ordinate与 SpeechRater口语A动评分 系统评述与启示 罗凯洲 ，韩宝成 (1．北京外国语大学 中国外语教育研究中心，北京，100089；2．北京外国语大学 外国语言研究所，北京，100089) 摘 要：口语 自动评分系统是全 自动15语考试的核心技术，为大规模 口语考试的实施带来新契机。在 口语 自 动评分领域，Ordinate与SpeechRater评分系统被公认为典型代表，但普通考生、教师乃至一些测试研发者对这一 新生事物并不十分熟悉，甚至抱有误解。本文试从系统架构(语音识别、特征提取、分数计算)及评分质量视角对 比评述两大系统，以期揭开 口语 自动评分过程的神秘面纱；并从系统与考试构念及任务的关系层面切入 。评论两 大系统带来的启示 关键词：口语考试；自动评分系统；构念定义；任务设计 中图分类号 ：H319．3 文献标识码 ：A 文章编号：1001．5795(2014)04-0027-0006 口语测评早 已成为大规模语言考试 (如 IELTS、 本打分(Chapelle，2008；ChapelleChung，2010；Xi， TOEFL．iBT)不可或缺的一部分 。然而，在听、说、读、 2010)。在 口语 自动评分领域，最具代表性 的当属 写四项语 言技能 中，“说”往往最难 测评 (Ginther， Pearson公司Versant系列 口语考试所采用的Ordinate 2013：234)。难点之一 ，在于评分质量。评分员要对 自动评分系统 以及 ETS为TOEFL．iBT(TPO)o口语考 考生的临场表现进行观察并实时做 出评判，评分结 试研发的SpeechRater自动评分系统。本文将从语音 果还要始终与评分标准保持一致 。但 口语评分的主 识别、特征提取、分数计算三方面对 比评述两大口语 自 观性较强，容易影响考试的效度 (Luoma，2004：184— 动评分系统的架构，探讨系统实现 自动评分的过程，评 186；曾用强，2012：150)。尽管人们采取 了各种监 价其评分质量，并讨论两大系统带来的启示 。 控措施，仍无法规避环境、心理及生理等因素造成的 评分不一致现象。难点之二，在于评分成本 。无论 1 Ordinate与 SpeechRater自动评分系统评述 面试型的直接考试 (如 IELTS口语 )，还是听评式的 口语考试 自动评分系统如何实现 自动评分?回答 半直接考试 (如 TEM-4口语)，都要消耗大量人力、 这一问题最有效的方式就是探究其组成架构。用于 物力。总之 ，评分质量与成本成为制约大规模 口语 Versant口语考试 的Ordinate自动评分系统主要 由自 考试发展的主要因素。 动语音识别程序(AutomaticSpeechRecognition)与评 随着语言学、教育与心理测量、自然语言处理等学 科的发展，人们希望通过研发 口语考试 自动评分系统 o TPO全称 TOEFLPracticeOnline，是 ETS为考生研发的在线模 解决上述 问题 。近年来，国外考试机构 已开始尝试在 拟测试系统，所用试题全部出自往年真题 ，其