Python自然语言处理 课件 第6章 句法分析.pptx

句法分析Python自然语言处理第六章

CONTENT目录01句法分析概述02句法分析的数据集与评测方法03句法分析的常用方法04使用StandfordParser的PCFG算法进行句法分析

回顾词向量与关键词提取02OPTION03OPTION词量算法06OPTION01OPTION05OPTION04OPTIONTF-IDF算法TextRank算法LSA/LSI/LDA算法提取文本关键词关键词提取技术

01句法分析概述句法分析的基本概念句法分析的基本方法

句法分析概述句法分析(syntacticparsing)是自然语言处理中的关键技术之一，其基本任务是确定句子的句法结构(syntacticstructure)或句子中词汇之间的依存关系。一般来说，句法分析并不是一个自然语言处理任务的最终目标，但是，它往往是实现最终目标的重要环节，甚至是关键环节。因此，在自然语言处理研究中，句法分析始终是研究的核心问题之一。

句法分析概述句法分析主要有以下两个难点：1.歧义：自然语言区别于人工语言的一个重要特点就是它存在大量的歧义现象。2.搜索空间：句法分析是一个极为复杂的任务，候选树个数随句子增多呈指数级增长，搜索空间巨大。

基本概念句法分析是从单词串得到句法结构的过程，而完成该过程的工具或程序被称为句法分析器(parser)。

基本概念句法分析的任务：1.判断输入的字符串是否属于某种语言；2.消除输入句子中词法和结构等方面的歧义；3.分析输入句子的内部结构，如成分构成、上下文关系等。

基本概念句法分析的种类很多，根据侧重目标分为：完全句法分析局部句法分析两者的差别在于：完全句法分析以获取整个句子的句法结构为目的局部句法分析只关注于局部的一些成分，常用的依存句法分析就是一种局部分析方法。

01句法分析概述句法分析的基本概念句法分析的基本方法

句法分析的基本方法句法分析基本方法分类基于规则的分析方法基于统计的分析方法

基本方法——句法分析的方法分类和依据基本方法的类型根据句法分析树形成方向的区别，人们通常将这些分析方法划分为三种类型：自顶向下(top-down)的分析方法自底向上(bottom-up)的分析方法两者相结合的分析方法

基本方法——基于规则的分析方法基本思路：由人工组织语法规则，建立语法知识库，通过条件约束和检查实现句法结构歧义的消除。人们先后提出了若干有影响力句法分析算法： CYK分析算法、 欧雷分析算法、 线图分析算法、 移进-规约算法, GLR分析算法 左角分析算法等等。

基本方法——基于规则的分析方法基于规则的句法分析方法的主要优点是：分析算法可以利用手工编写的语法规则分析出输入句子所有可能的句法结构；对于特定的领域和目的，利用手工编写的有针对性的规则能够较好地处理输入句子中的部分歧义和一些超语法现象。

基本方法——基于规则的分析方法基于规则的分析方法的缺陷：对于一个中等长度的输入句子，分析过程复杂；难以在巨大的句法分析结果集合中实现有效的消歧；手工编写的规则一般带有一定的主观性；手工编写规则本身是一件大工作量的复杂劳动，编写的规则对特定的领域有密切的相关性。

基本方法——基于统计的分析方法基于统计的上下文无关文法的短语结构分析方法可以说是目前最成功的语法驱动的统计句法分析方法。主要模型：词汇化的概率模型非词汇化的概率模型统计句法分析模型本质是一套面向候选树的评价方法，其会给正确的句法树赋予一个较高的分值，而给不合理的句法树赋予一个较低的分值，这样就可以借用候选句法树的分值进行消歧。在本章中，将着重基于统计的句法分析方法进行介绍。

句法分析概述句法分析的基本概述是什么；句法分析的基本方法有哪些；基于规则的分析方法基于统计的分析方法

句法分析Python自然语言处理第六章

CONTENT目录01句法分析概述02句法分析的数据集与评测方法03句法分析的常用方法04使用StandfordParser的PCFG算法进行句法分析

课前回顾基本概念基本方法

02句法分析的数据集与评测方法句法分析的数据集句法分析的评测方法

句法分析的数据集统计句法分析方法自20世纪80年代提出以来，受到了众多学者的关注。由于这种方法既有规则方法的特点，又运用了概率信息，因此，可以认为是规则方法与统计方法的紧密结合。统计句法分析方法一般都离不开语料数据集和相应的评价体系的支撑。

句法分析的数据集相较于分词或词性标注，句法分析的数据集要复杂的多，其是一种树形的标注结构，因此也称为树库，如图是一个典型的语料标注。

句法分析的数据集根据所描述句子结构的不同,树库大体上可以分为两类:短语结构树库一般采用句子的结构成分描述句子的结构，短语结构树库顾名思义，可以同来提取短语，其目的是分析句子的产生过程。依存结构树库根据句子的依存结构