10组_句法分析12点.pptxVIP

句法分析答辩人：王彩文朱志浩李亚辉徐昊彭林涛罗晓青时间：2020.12.03

1介绍PleaseEnterYourTitleHere4Demo展示PleaseEnterYourTitleHere2经典算法PleaseEnterYourTitleHere3前沿研究PleaseEnterYourTitleHere目录CONTENTS

讲解：王彩文罗晓青句法分析介绍1

句法分析（Parsing）定义定位：是自然语言处理（NLP）中的关键底层技术之一定义：是从单词串得到句法结构的过程；指对输入的单词序列（一般为句子）判断其构成是否合乎给定的语法，分析这些成分之间的关系为什么：谢霆锋是谁的儿子？谢霆锋的儿子是谁？对语言进行深层次的理解

基本类型“句法分析的任务是确定句子的句法结构或句子中词汇之间的依存关系，主要包括句法结构分析和依存关系分析以获取整个句子的句法结构为目的的句法分析，被称为完全句法结构分析，以获取局部成分为目的的句法分析为浅层分析分析语言单位内成分之间的依存关系的句法分析，被称为依存关系分析句法分析

对‘Johnatethefish’进行分析判断其构成是否合乎给定的语法词之间的依赖关系句法结构分析依存句法分析fishfish

与形式语言句法分析的比较VS自然语言中，歧义现象是天然的大量存在着，而且这些歧义的解释往往都有可能是合理的，因此，对歧义现象的处理是自然语言句法分析器最本质的要求自然语言句法分析一般是指人工构造的语言，是一种确定性的语言，即对于语言中的任何一个句子，只有唯一的一种句法结构是合理的，即使语法本身存在歧义，也往往通过人为的方式规定一种合理的解释形式语言句法分析由于要处理大量的歧义现象，导致自然语言句法分析器的复杂程度远高于形式语言的句法分析器目前汉语的计算机句法分析的精度达到92%

优秀句法的特征通用性能正确分析句子的范围选择性能判断出错误句子的范围可理解性自身的简易程度鲁棒性对不合法句子的容忍度（通用性），通用性与选择性矛盾的处理，如：忽略主谓一致性检查将导致无法区分下面句子的不同

词法分析—句法分析—语义分析词性标注是句法分析的基础，4%的词性标注错误将导致句子一级10%的错误。句法分析是非常关键的一个步骤，是后续语义分析的基础词法、句法和语义的关系Semantic?Analysis

句法分析应用“谢霆锋的儿子是谁？”“谢霆锋是谁的儿子？”文本理解

句法分析应用语义消歧“去医院看癌症病人”。

句法分析应用主干抽取“给我推荐一家能够听到古典音乐的餐厅。”

句法分析应用“我家音响声音很大。”“我家洗衣机声音很大。”情感分析通过句法分析确定句子结构，然后逐词翻译，再根据句法结构整理和修改翻译结果。机器翻译

句法分析应用用户搜索“陈道明身高”、“陈道明年龄”，经过依存句法分析就会给出搜索结果。问答系统

经典算法2

成分句法分析2.1讲解：朱志浩

成分句法分析基本方法基于CFG（上下文无关）规则的分析方法：线图分析法（chartparsing）CYK算法Earley（厄尔利）算法LR算法/Tomita算法…….-Top-down:Depth-first/Breadth-first-Bottom-up

线图分析法基本流程：类似于贪心的策略，不断地从新加入的边中取得可以规约的最长的边，代替较短的边。

线图分析法

线图分析法

线图分析法

线图分析法

线图分析法

线图分析法

线图分析法最后分析结果：

线图分析法

线图分析法优点：算法简单，容易实现，开发周期短。缺点：算法效率低；需要高质量的规则，分析结果与规则质量密切相关；难以区分歧义结构。Chartparsing算法评价

CYK分析算法Coke-Younger-Kasami(CYK)算法

CYK分析算法识别矩阵的构成

CYK分析算法

CYK分析算法例子

CYK分析算法

CYK分析算法

CYK分析算法

CYK分析算法优点：简单易行，执行效率高。缺点：必须对文法进行范式化处理；无法区分歧义。CYK算法评价

依存句法分析2.2讲解：李亚辉

依存句法分析依存句法分析通过分析单词之间的依存关系揭示其句法结构。动词是句子的核心，并支配其他成分，它本身不受任何成分的支配。

依存句法分析

依存句法分析依存句法的优势简单，直接按照词语之间的依存关系工作，是天然词汇化的；不过多强调句子中的固定词序，对自由语序的语言分析更有优势；形式化程度较短语结构语法浅，对句法结构的表述更为灵活。

依存句法分析目前较为成熟的依存句法分析方法有以下四种：生成式句法分析模型判别式句法分析模型决策式句法分析模型约束满足句法分析模型

生成式句法分析模型基本思想：采