Python自然语言处理 课件 电子06-1 -句法分析概述.pptx

句法分析Python自然语言处理第六章 CONTENT目录 01句法分析概述02句法分析的数据集与评测方法03句法分析的常用方法04使用Standford Parser的PCFG算法进行句法分析 回顾词向量与关键词提取02OPTION03OPTION词量算法06OPTION01OPTION05OPTION04OPTIONTF-IDF算法TextRank算法LSA/LSI/LDA算法提取文本关键词关键词提取技术 0 1句法分析概述句法分析的基本概念句法分析的基本方法 句法分析概述句法分析(syntactic parsing)是自然语言处理中的关键技术之一，其基本任务是确定句子的句法结构(syntactic structure)或句子中词汇之间的依存关系。一般来说，句法分析并不是一个自然语言处理任务的最终目标，但是，它往往是实现最终目标的重要环节，甚至是关键环节。因此，在自然语言处理研究中，句法分析始终是研究的核心问题之一。 句法分析概述句法分析主要有以下两个难点：1.歧义：自然语言区别于人工语言的一个重要特点就是它存在大量的歧义现象。2.搜索空间：句法分析是一个极为复杂的任务，候选树个数随句子增多呈指数级增长，搜索空间巨大。 基本概念句法分析是从单词串得到句法结构的过程，而完成该过程的工具或程序被称为句法分析器(parser)。 基本概念句法分析的任务：1.判断输入的字符串是否属于某