自然语言理解48951.pptVIP

* * 第十二章 自然语言理解 自然语言处理是人工智能领域中早期活跃的研究领域之一。由于它的难度很大，至今仍位能达到很高的水平。 第一节 自然语言处理的一般问题 一、自然语言处理的概念和意义 1. 语言是人类进行通信的自然媒介，它包括口语、书面语以及动作语等。一种比较正规的提法是：语言是用于传递信息的表示方式、约定和规则的集合，她由语句组成，每个语句又由单词组成；组成语句和语言时，应遵循一定的语法和语义规则。 2. 自然语言处理，一方面，可以定义为计算机处理人类在日常生活中使用的自然语言——书面或口头能力；另一方面，可以定义为认知科学中研究人类语言的一个分支。 3. 自然语言处理意义在于：一方面，如果计算机能够理解、处理自然语言，将是计算机技术的一项重大突破；另一方面，自然语言处理有助于揭开人类高度智能的奥秘，深化对语言能力和思维本质的认识 二、自然语言处理的发展简史 1.以关键词匹配为主流的时期（上世纪60年代） 这个时期研制开发出的自然语言理解系统，大都没有真正意义上的语法分析，而主要依靠关键词匹配技术来识别输入的句子的意义。其特点是允许输入的句子不一定要遵循规范的语法，但这种近似匹配技术的不精确性也是其主要弱点。 2.以句法-语义分析为主流的时期（上世纪70年代） 采用这种思想的处理系统的典型系统框架如下 句法分析 语义解释 语义规则 词典 句法分析规则 输入 句法树 回答 3.基于知识的语言处理系统时期（上世纪80年代） 这一时期的主要特点是引入了知识的表示和处理方法，引入了领域知识和推理机制，借鉴了许多人工智能和专家系统中的思想，使自然语言处理系统不再局限于单纯的语言句法和词法的研究，极大地提高了系统处理的正确性，使得系统越来越趋向实用化和工程化。 4.基于大规模语料库自然语言处理系统（目前） 实践证明，由于处理自然语言所需的知识“数量”巨大，且这些知识具有高度的不确定性和模糊性，因此提出了以计算机雨料库为基础的语言学及自然语言处理新思想。该思想认为语言学的知识大规模的来自生活的语料，计算语言学工作者的任务是使计算机自动或半自动的从中提取处理自然语言所需的各种知识。 三、自然语言处理的主要思想 1.认知学观点 将人类视为一种高级信息处理系统，强调对于人类智能活动的研究以及在计算机上的模拟和实现。 2.语用学观点 将语言视为人与人之间的通信媒介，任何对于话语的理解或生成都不能脱离该话语存在的前后语境和该话语使用者的心理背景。 3.语言学观点 对自然语言进行研究的最初也是最基本的方法，强调对于句子结构和语法的研究，重点在于描述语言，寻找或构造一组能包含尽可能多的语言现象的普遍适用的语法规则。 四、自然语言处理的层次 1.语音分析 根据音位规则，从语音流中区分出一个个独立的音素，再根据音位形态规则找出一个个音节及其对应的词素或词。 2.词法分析 分析目的是找出词汇的各个词素，从中获得语言学的信息。 3.句法分析 对句子和短语的结构进行分析，目的是找出词、短语等的相互关系以及各自在句中的作用。 4.语义分析 分析目的是找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念。 5.语用分析 研究语言所存在的外界环境对语言使用者所产生的影响。 第二节 形式语法分析 一、转换生成语法 1.乔姆斯基的生成语法 乔姆斯基指出人类语言具有无限性，一个人学习一种语言时，并不是通过接触语言的所有语句，而是学习语言的内在结构知识。 这种结构知识是一种严格形式化的规则系统，对自然语言进行描述，无须任何未在系统中明确表示的附加信息，就能生成符合所描述语言语法规范的自然语言语句，并且为每个句子赋予一个结构化描述。该结构化结构通常为一种数形结构。 例如： S → NP+VP NP → Det+N VP → VP+ADV VP →Aux+V ADV →PP ADV →Adv PP →Prep+NP Det → a,the,this… N → dog,baby,park, … Aux →must,can, … V →run,smile,sit … Adv →quickly,slowly … Prep →in,on,by, … The dog can run in the park. S N DET VP NP VP ADV V AUX PP PREP NP DET N The dog can run in the park 2.短语结构语法G的形式化定义 G=（T，N，S，P） T 是终结符号的集