英汉机器翻译译文质量评价方法研究.pdfVIP

英汉机器翻译译文质量评价方法研究 第一章 第一章 绪 论 1．1研究的背景和现状 大约五十年前，随着第一个全自动的机器翻译系统的出现，研究者就开始了机器 翻译评价方面的研究。由于开发翻译系统比预想的难度要大很多，研究者就有必要在 开发和改进翻译系统的过程中经常评价翻译系统的特性，从而为开发提供反馈意见。 但是设计和执行可靠的翻译评价工作与开发翻译系统一样，非常耗时、耗力，而且复 杂性也很高。因此，一些研究者开始对翻译质量的评价方法进行深入的研究。 评价机器翻译系统的质量对业内人士有非常重要的意义。研究者需要知道他们提 出的新的理论是否产生好的效果：翻译产品开发者想令顾客有深刻印象：机器翻译产 品用户则需要知道用哪个系统更好。由于机器翻译文献浩如烟海，开发企业也非常多， 我们需要全方位的观察并帮助潜在的用户了解翻译系统的特性，并为机器翻译评价理 论的建立铺平道路。因为评价在机器翻译领域的重要作用，很多研究者对翻译评价的 内涵和外延做了深入的研究。根据最基本的研究方向，翻译评价的研究分为两类【I】： 第一类是判别一个机器翻译系统是“好”还是“坏”?第二类问题是比较两个机器翻译 系统哪一个更好?50年来，研究者提出很多不同的评价方法服务于不同的目的。描 述性评价是评价人工翻译常用的策略，即根据不同的质量指标给系统译文打分(如信、 达、雅)，也自然的被用于机器翻译的评价。终端用户和产品购买人往往关心特定的 翻译系统在特定的工作环境下的性能价格比，操作性评价正是解决这个问题的方法。 分类性评价试图找出机器翻译系统对不同语言现象的处理能力，是开发者使用的评价 方法。评价方法还可以分为黑箱测试和白箱测试。前者只根据输脯出给系统评分， 后者则同时考虑系统的数据流、体系结构和方法论等[21。当然，评价也有手工评价和 自动评价的区分。我们将在后面详细讲述评价方法的分类和发展。 -机器翻译的评价是个困难的课题，评价机器翻译译文的难度在于以下几点13J：1) 缺乏完善的评价标准。任何产品的评价都是根据某个完善的标准对产品的某个特性进 行测量，而评价翻译结果的质量好坏没有完善的评价标准，因此是一个难题。通常我 们可以把译文和机器译文和人工译文做对比，但不同的人工译文，即使质量都很好， 通常也不一样。而且，在所有译文都没有“语法”错误的情况下，判断哪个人工译文质 量更好几乎不会有满意的答案，甚至专家组也很难达成一致意见。2)主观性。翻译 者有各自不同的风格，读者也有自己的偏好。即使在简单的评价过程，比如把一些译 文从“最好”到“最坏”排序，一个评价者与另一个评价者的主观判断也会不同，甚至同 第一章 英汉机器翻译译文质量评价方法研究 一个评价者在不同时间的评价结果也会不同。3)训练效应。由于主观性的作用，如 果评价者在评价一个译文之前看到了同一个源句的其他译文，就会由于训练效应而感 觉译文的忠实度和可懂度比真实程度要高。4)机器译文的不同用途。随着对翻译系 统的期望变的更加现实，人们发现不完善的机器译文也有一些用途，比如用于获得一 些信息、文本分类、信息过滤等等，因此，不同的用户需求对机器译文质量的要求也 不同。而且不同系统的使用环境也不同，比如有些系统只在限制语言或子语言环境中 使用(如天气预报系统)。这些只是难题中的一部分，研究人员一直在提出新的方法 从而解决或者减少这些困难。 1．2机器翻译评价方法 评价的整个历史上，两个特征占据突出的位置——通常称为质量和忠实度。机器 翻译研究者通常认为，如果系统译文的语法和词汇方面都比较好(即高质量输出)， 并且没有歪曲输入的含义／语义(高忠实度)，那么评价就应该很好。系统开发者和 实际用户往往同时看重其它一些评价测度，尤其是系统可扩展性(增加新词、语法和 转换规则的难度)、覆盖度(系统对用户感兴趣的领域的专门性)以及价格。在实际 应用中，这些因素可能比质量更重要【4J。 因为人工评价成本高、耗时长，机器翻译评价一直很难对机器翻译系统开发提供 切实的帮助。近年来，自动机器翻译评价开始热门。本文研究的是自动评价的问题， 因此对自动翻译评价方法做出更详细的回顾。 一种自动评价方法利用句法结构作为评价依据。Jones利用句法树的平衡性、n 元语言模型、语义单元同现等信息作为翻译质量的衡量尺度pJ。Brew利用词频、词性 标记分