人工智能Artificial Intelligence第八章资料.ppt

* * * * * * * 基于记忆的机器翻译方法通过结构化的翻译例子直接把源语言的短语和句子与目标语言的短语和句子对应起来。方法的不同使得处理步骤或多或少，但都必须实现源语言到目标语言的转换，其映射关系或者是词到词，或者是短语或句子到与之相应的等价物，或者是一棵句法树到另一棵句法树。 基于记忆的机器翻译（EBMT）的实现过程简单概述如下：给定源语言输入句子S，在双语语料库C中匹配查找一个最相近的句子S’, 则S的译文T就被接受为S的译文。 基于记忆的机器翻译方法 * 史忠植 人工智能：自然语言处理 * 翻译的过程一般就是查找和复现相似的例子，发现和记起特定的源语言表达或相似的表达在以前是如何翻译的，把以前的翻译实例作为主要知识源。 基于记忆的机器翻译方法的基本思想： （1）把翻译实例存入翻译数据库。例如，存入汉语和英语句子对； （2）对输入的句子，在翻译数据库中检索类似的翻译例句； （3）调整实例后生成译文。 基于记忆的机器翻译方法 * 史忠植 人工智能：自然语言处理 * 基于记忆的机器翻译方法可以按如下步骤实现： （1）对双语语料库进行句子级对齐； （2）在语料库的源语言一边进行句子分块，称为组块。然后检索输入组块的最佳匹配侯选，称为源语言内部匹配； （3）在源语言最佳匹配后选的组块中检索对应目标语言组块，称为双语匹配； （4）对组块级检索结果进行组合，以获得整个源语言文本的翻译结果。 基于记忆的机器翻译方法 * 史忠植 人工智能：自然语言处理 * 源语言的内部匹配就是在语料库中查找一个与待译句子最相似的句子。对于任意给定的一个句子，很难在语料库中找到与之完全匹配的句子，所以对输入文本在语料库源语言一边的匹配查找采用了松弛匹配技术。松弛匹配就是部分匹配，不同的部分匹配被赋予不同的分值，以反映输入串和语料库中某些句子串的接近程度。整个输入组块与语料库组块匹配的分值由一定的公式计算出来。最后，待翻译文本中所有被匹配的每个输入组块都在语料库中检索出若干个最相近的组块，组块可以是一个句子、或者是一个从句、或者是一个短语，按照匹配分数从大到小排列。 基于记忆的机器翻译方法 * 史忠植 人工智能：自然语言处理 * 源语言内部匹配的输出成为输入，即把前面从语料库中查到的组块、所在的句子和对应译文等构成当前处理步骤的输入。因为每个输入组块可能在语料库中匹配若干组块，所以每个组块有待进一步处理，即在双语匹配处理过程中又分为若干子过程，包括通过查词典获取词组译文；建立词汇级双语对照表；通过评分机制求出最佳翻译句等等。 基于记忆的机器翻译方法的输出结果带有相应的分数，这些分值来自不同的标准，相差可能很大。因此必须采用合适的函数（方式）对所有分数进行统一（归一化），然后这些分值才有可比性。 基于记忆的机器翻译方法 * 史忠植 人工智能：自然语言处理 * 基于记忆的机器翻译方法的其它优点： （1）可以通过索引和并行处理提高处理速度； （2）可以采用最佳匹配推理； （3）可以较好地利用翻译专家的专业知识（通过翻译实例）； （4）一个基于实例的机器翻译系统的知识可以移植、共享。 基于记忆的机器翻译方法 * 史忠植 人工智能：自然语言处理 * * 史忠植 人工智能：自然语言处理 * 内容提要 8.1 概述 8.2 词法分析 8.3 句法分析 8.4 语义分析 8.5 语用分析 8.6 语料库 8.7 信息检索 8.8 机器翻译 8.9 问答系统 8.10 小结 问答系统 问答系统(question answering system, QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。2011年2月14日，在美国最受欢迎的智力问答节目《危险边缘》(Jeopardy)中，IBM的“沃森（Watson）”超级计算机击败该节目的两名总冠军詹宁斯（Jennings K）和鲁特尔（Rutter B），实现有史以来首次人机智力问答对决，并赢取高达100万美元的奖金。这是人工智能技术取得成功的代表。 * 史忠植 人工智能：自然语言处理 * * * 史忠植 人工智能：自然语言处理 危机边缘 2011年，“沃森”在电视娱乐节目《危机边缘》中战胜人类选手肯·詹宁斯和布拉德·拉特 问答系统 一般问答系统模型分为三层结构，分别为：用户层、中间层、数据层。各部分的主要功能如下： （1）用户层（UI）：供用户输