邱懋如翻译等值模式指导下机器翻译系统评价标准研究.pdf

摘 要 摘 要 摘摘 要要 自从机器翻译在计算机上实现，研究者们就开始对其进行人工评价和自动评价。一 些研究者根据自己的使用经验总结了机器翻译的优势与劣势，不仅为机器翻译系统用户 提供了如何合理使用机器翻译系统的方法，也为机器翻译系统开发者提供了改进意见。 由于人工评价多为描述性评价，很少参照相应标准，因此评价结果过于主观。另一些研 究者则是程序员，他们发明了 BLEU、NIST和 METEOR 等算法来自动计算译文的平均 质量。尽管这些机器翻译自动评价解决了人工评价成本高，耗时长等问题，但这些自动 评价方法多数以字符串相似度高低决定译文优劣，评价结果的信度值得怀疑。 为了解决以往机器翻译评价研究中存在的不足，本文试图建立一套客观、综合的机 器翻译系统评价标准，以期揭示机器翻译系统的能力与不足，从而提高其使用效率。为 了保证评价的全面性和系统性，评价标准以邱懋如教授提出的“等值与翻译等值模式” 为基础，同时遵循机器翻译系统的特性制定，以保障评价能够实现预期目标。 论文第一章回顾了以往的机器翻译评价研究，其后第二章介绍了邱懋如教授的“等 值与翻译等值模式”。第三章基于邱懋如的“等值与翻译等值模式”，结合机器翻译特性， 建立了一套客观、综合的机器翻译系统评价标准，其中规定的了评价过程以及结果分析 方法。第四章根据该评价标准编制“等职评价者”软件，实现评价过程的自动化。本文 的结论是：依据该标准进行评价，可以揭示机器翻译系统是否能实现邱懋如提出的各层 面的等值，这不仅能帮助用户找到综合翻译质量最佳的系统，还能够发现哪种系统更为 合适。此外，通过实验证明，“等职评价者”能够量化评价机器翻译系统各个层面的能 力，也能够成功的比较多个系统。 关键词： 邱懋如；翻译等值模式；机器翻译评价；人工评价；自动评价；机器翻译 系统评价标准 I Abstract Abstract AAbbssttrraacctt Since machine translation(MT) was realized on computers, machine translation evaluations(MTE) have been conducted both manually and automatically to assess the properties of machine translation systems(MTS). Some researchers, based on their own experience, have demonstrated the advantages and disadvantages of MTS, which not only provides MTS users with methods as to how to use MTS, but also provides the developers some suggestions as to how to update the system. However, these human evaluations are made with no reference to a certain standard, thus they are rather descriptive and subjective. Other researchers and programmers have invented BLEU, NIST and METEOR and many other metrics to automatically calculate the average quality of the machine translations. Although these automatic evaluations of machine translations have