自然语言处理基础及应用课件 (8).pptxVIP

高等学校自然语言处理课程教材（这里根据情况修改）自然语言处理基础应用李妍吕慧周庆国/主编李芬芳多拉/副主编

第8章机器翻译高等学校自然语言处理课程教材CONTENTS目录8.18.28.38.4机器翻译的发展机器翻译的分类统计机器翻译神经机器翻译8.5机器翻译评价

本章学习目标第8章机器翻译了解机器翻译的发展与分类，并初步了解统计机器翻译。掌握神经机器翻译的原理和机器翻译评测原理。掌握利用PyTorch搭建RNN与利用Transformer模型进行翻译训练的编程实战。

8.1机器翻译的发展机器翻译思想的提出可以追溯到20世纪三四十年代。1933年，法国科学家阿尔楚尼（Artsouni）提出了用机器来进行翻译的想法，并获得了翻译机专利。同年，苏联科学家特洛伊斯基（Troyanskii）设计出了将一种语言翻译成另一种语言的机器，并在同年9月5日登记了发明专利。历经几十年风雨，机器翻译走过了一条曲折、漫长的发展道路，如今学术界一般将其划分为4个阶段：20世纪40—60年代的开创期，这一时期IBM公司的计算机展示了机器翻译的可行性；20世纪60—70年代的受挫期；1976年至1989年的恢复期；20世纪90年代开始至今的新时代。随着计算机技术的进步、互联网的出现和普及，数据量激增，统计方法得到充分应用，神经机器翻译也得到发展。8.1机器翻译的发展第8章机器翻译

8.1机器翻译的发展8.1机器翻译的发展第8章机器翻译

第8章机器翻译高等学校自然语言处理课程教材CONTENTS目录8.18.28.38.4机器翻译的发展机器翻译的分类统计机器翻译神经机器翻译8.5机器翻译评价

8.2机器翻译的分类机器翻译可大致分为以下3类：基于规则的机器翻译、基于统计方法的统计机器翻译和基于端到端的神经机器翻译。第8章机器翻译8.2机器翻译的分类

8.2机器翻译的分类开始于20世纪80年代的基于规则的机器翻译（rule-basedmachinetranslation，RBMT），是第一代机器翻译技术。基于规则的机器翻译有3种技术路线：第一种是直接翻译，即对源语言做完分词之后，将源语言的每个词翻译成目标语言的相关词，然后拼接起来得出翻译结果，由于源语言和目标语言并不在同一体系下，语法顺序有很大的出入，所以这种直接拼接起来的翻译结果，效果往往并不理想；第二种是引用语言学的相关知识对源语言进行句法分析，由于应用了语言学的知识，因此得出的目标译文是比较准确的；第三种是采取间接转换的思路，首先将源语言用中间语言进行描述，然后将中间语言翻译成目标语言，但由于语言的复杂性，一般文本很难借助于中间语言来实现源语言和目标语言的精确描述。第8章机器翻译8.2机器翻译的分类

8.2机器翻译的分类基于规则的机器翻译的优点是：能够保持原文结构；在已知语言现象和结构规范的源语言上效果较好。缺点是：人工编写规则工作量大；规则的主观性强，难以保障一致性，不利于系统扩充；无法实现不规范语言（如对话、口语）翻译。第8章机器翻译8.2机器翻译的分类

8.2机器翻译的分类1993年IBM公司提出了基于统计方法的统计机器翻译（statisticalmachinetranslation，SMT），标志着第二代机器翻译技术的兴起。该技术的核心在于使用概率模型对翻译过程建模。噪声信道模型是最早应用于统计机器翻译的模型，在噪声信道模型下，假设需要翻译的源语言文本x是由一段目标语言文本y经过某种“特殊”的编码得到的，翻译的目标是将x还原成y，也就是解码，该技术的实现原理将在8.3节中详细介绍。统计机器翻译的优点为：利用平行语料直接训练，因此在量产阶段推动了以谷歌翻译为代表的工业界的大规模商业应用。其缺点是：模型假设较多，依据上下文建模的能力不足，存在调序等问题，导致翻译结果比较生硬。第8章机器翻译8.2机器翻译的分类

8.2机器翻译的分类2014年谷歌公司和加拿大蒙特利尔大学提出基于端到端的神经机器翻译（neuralmachinetranslation，NMT），标志着第三代机器翻译技术的到来。本章将重点围绕神经机器翻译进行介绍。相比于传统的统计机器翻译，神经机器翻译能够训练一个从一个序列映射到另一个序列的神经网络，其输出可以是变长的序列，这使得模型在翻译、对话和文字概括方面能够获得非常好的表现。神经机器翻译的优点为：能够通过大量的未经人工标注的平行语料进行训练，大大节省人力成本，其翻译效果也优于统计机器翻译，发展潜力巨大。其缺点是：由于神经网络的黑箱特性，该技术的原理很难被清楚地理解，模型可解释性较差，因此提升的难度