第七章自然语言理解.pptVIP

在信息化社会中，语言信息处理的技术水平和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。在这样的社会需求下，自然语言理解作为语言传息处理技术的一个高层次的重要方向，一直是人工智能界所关注的核心课题之一。显然，如果计算机能够理解自然语言，人机间的信息交流能够以人们所熟悉的本族语言来进行，那将是计算技术的一项重大突破。另一方面，由于创造和使用自然语言是人类高度智能的表现，因此对自然语言理解的研究也有助于揭开人类智能的奥秘，深化我们对语言能力和思维本质的认识。所以说，这个研究方向在应用方面和理论方面都有重大意义。 7.1 自然语言及其理解 1.什么是自然语言 自然语言是指人类语言集团的本族语，如汉语、英语、日语等。自然语言是相对于人造语言而言的。人造语言是指世界语或计算机的各种程序设计语言。众所周知，语言是思维的载体，是人际交流的重要工具。在人类历史上以语言文字形式记载和流传的知识占到知识总量的80％以上。就计算机的应用而言，据统计用于数学计算的仅占10％，用于过程控制的不到5％，其余85％左右都是用于语言文字的信息处理。在信息化社会中，语言信息处理的技术水平和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。 7.1 自然语言及其理解 2、自然语言的构成（如下图） 7.1 自然语言及其理解 7.2 词法分析 7.2 词法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.3 句法分析 7.4 语义分析 7.4 语义分析 7.5 大规模真实文本的处理 7.6 基于语料库的自然语言建模方法 人 工 智 能 原 理 与 应 用 教材简介: 名 称:人工智能原理与应用 作 者:张仰森 出版社:高等教育出版社 章 节:共十章 主讲教师: 宗春梅 7.1.1自然语言及其构成 7.1.1自然语言及其构成 7.1.2自然语言理解的概念 7.1.3自然语言理解的进展 7.1.4自然语言过程的层次 自然语言理解是指机器能够执行人类所期望的某些语言功能。这些功能包括： 1.问答(quesVtioVn-aVnsweriVng)：机器能正确地回答输入文本中的有关问题;2.文摘生成(summariziVng)：机器有能力产生输入文本的摘要；3.释义(paraphrase)：机器能用不同的词语和句型来复述其输入文本；4.翻译(VtrahslaVtioVn)：机器具有把一种语言(源语)翻译成为另一种语言(目标语)的能力。 句法分析就是要对句子或短语的结构进行分析，以确定构成句子的各个词、短语等之间的相互关系以及各自在句子中的作用等，并将这些关系用层次结构加以表达。 1、短语结构语法理论 一部短语结构语法G可以用如下的四元组来定义：　　　　G＝(Vt，Vn，P，S)其中，Vt是终结符的集合，终结符是指被定义的那个语言的词(或符号)；　　Vn是非终结符的集合，这些符号不能出现在最终生成的句子中，是专门用来描述语法的。显然，Vt和Vn的并构成了符号集V，而且Vt和Vn不相交，因此有：　　　　V＝Vt∪Vn，　　　　Vt∩Vn＝φ (φ表示空集)；　　S是起始符，它是集合Vn中的一个成员；　　P是一个产生式规则集。每条产生式具有如下的形式：　　　　a→b　　其中a∈V+，b∈V*，且a≠b；V*表示由V中的符号所构成的全部符号串(包括空符号串φ)的集合，V+表示V*中除φ之外的一切符号串的集合。 7.3.1 短语结构语法理论与乔姆斯基语法体系 2、结束的短语结构语法理论---乔姆斯基语法体系 7.3.1 短语结构语法理论与乔姆斯基语法体系 乔姆斯基(N.Chomsky)曾定义了以下四类语法:(1)无约束短语结构语法，如前所述，又叫做O型语法；(2)上下文有关语法(context-sensitive grammars)，又叫做1型语法；(3)上下文无关语法(context-free grammars)，又叫做2型语法；(4)正则语法(regular grammars)，又叫做3型语法。 7.3.1 短语结构语法理论与乔姆斯基语法体系 3、句法分析树 在对一个句子进行分析的过程中，如果把分析句子各成分间关系的推倒过程用树形表示出来的话，那么，这种图称做句法分析树。 如下图为语句 The girl writes letter with a