句法分析I.ppt

中文信息处理--句法分析 句法分析I 张宇 哈尔滨工业大学计算机科学与技术学院 zhangyu@ir.hit.edu.cn 内容提要 什么是句法分析 与形式语言句法分析的比较 上下文无关语法的分析策略 自顶向下分析法 自底向上分析法 左角分析法 内容提要（续） 上下文无关语法的分析算法 移进－归约算法 Marcus确定性分析算法 CYK算法 Earley算法 Tomita算法 Chart算法 概率上下文无关语法 组块分析与部分分析 什么是句法分析 句法分析（Parsing）和句法分析器（Parser) 句法分析是从单词串得到句法结构的过程； 不同的语法形式，对应的句法分析算法也不尽相同； 由于短语结构语法（特别是上下文无关语法）应用得最为广泛，因此以短语结构树为目标的句法分析器研究得最为彻底； 很多其他形式语法对应的句法分析器都可以通过对短语结构语法的句法分析器进行简单的改造得到。 本讲义将主要介绍上下文无关语法的句法分析器。 与形式语言句法分析的比较 形式语言一般是人工构造的语言，是一种确定性的语言，即对于语言中的任何一个句子，只有唯一的一种句法结构是合理的，即使语法本身存在歧义，也往往通过人为的方式规定一种合理的解释。 如程序语言中的if…thenif…then…else…结构，往往都人为规定else 子句与最接近的if 子句配对； 而在自然语言中，歧义现象是天然地大量存在着的，而且这些歧义的解释往往都有可能是合理的，因此，对歧义现象的处理是自然语言句法分析器最本质的要求。 由于要处理大量的歧义现象，导致自然语言句法分析器的复杂程度远高于形式语言的句法分析器。 句法结构歧义的消解 人们正常交流中所使用的语言，放在特定的环境下看，一般是没有歧义的，否则人们将无法交流（某些特殊情况如幽默或双关语除外） 如果不考虑语言所处的环境和语言单位的上下文，将会发现语言的歧义现象无所不在； 结论：一般来说，语言单位的歧义现象在引入更大的上下文范围或者语言环境时总是可以被被消解的。句法分析的核心任务就是消解一个句子在句法结构上的歧义。 句法结构的歧义消解（续） 我是县长。 我是县长派来的。 咬死了猎人的狗跑了。 就是这条狼咬死了猎人的狗。 小王和小李的妹妹结婚了。 小王和小李的妹妹都结婚了。 例子－语法 小王和小李的妹妹结婚了 例子－分析结果之一 例子－分析结果之二 另一个例子 我是县长派来的 另一个例子－分析结果 句法分析的基本策略 句法分析通常采用的策略有： 自顶向下分析法； 自底向上分析法； 左角分析法； 其他策略。 上下文无关语法的分析算法 常见的上下文无关语法的句法分析算法： CYK算法； 移进－归约算法； Marcus确定性分析算法； Earley算法； Tomita算法（GLR算法、富田算法）； Chart算法（图分析算法、线图分析算法）； 自顶向下和自低向上分析法1 句法分析的过程也可以理解为句法树的构造过程 所谓自顶向下分析法也就是先构造句法树的根结点，再逐步向下扩展，直到叶结点； 所谓自底向上分析法也就是先构造句法树的叶结点，再逐步向上合并，直到根结点。 自顶向下和自低向上分析法2 自顶向下的方法又称为基于预测的方法，也就是说，这种方法是先产生对后面将要出现的成分的预期，然后再通过逐步吃进待分析的字符串来验证预期。如果预期得到了证明，就说明待分析的字符串可以被分析为所预期的句法结构。如果某一个环节上预期出了差错，那就要用另外的预期来替换（即回溯）。如果所有环节上所有可能的预期都被吃进的待分析字符串所“反驳”，那就说明待分析的字符串不可能是一个合法的句子，分析失败。 自底向上的方法也叫基于归约的方法。就是说，这种方法是先逐步吃进待分析字符串，把它们从局部到整体层层归约为可能的成分。如果整个待分析字符串被归约为开始符号S，那么分析成功。如果在某个局部证明不可能有任何从这里把整个待分析字符串归约为句子的方案，那么就需要回溯。 自顶向下分析法－示例1 自顶向下分析法－示例2 自顶向下分析法－示例3 自顶向下分析法－示例4 自顶向下分析法－示例5 自顶向下分析法－示例6 自顶向下分析法－示例7 自顶向下分析法－示例8 自顶向下分析法－示例9 自顶向下分析法－示例10 自顶向下分析法－示例11 自顶向下分析法－示例12 自顶向下分析法－示例13 自顶向下分析法－示例14 自顶向下分析法－示例15 自顶向下分析法－示例16 自顶向下分析法－示例17 自顶向下分析法－示例18 自顶向下分析法－示例19 自顶向下分析法－示例20 自底向上分析法－示例1 自底向上分析法－示例2 自底向上分析法－示例3 自底向上分析法－示例4 自底向上分析法－示例5 自底向上分析法－示例6 自底向上分析法－示例7 自底向上分析法－示