自然语言理解讲义.ppt

自然语言理解讲义 第二章 句法分析(2) 内容提要 自顶向下分析法 自底向上分析法 转移网络文法 自顶向下线图分析法 自顶向下分析法(1)：概述 自顶向下的方法又称为基于预测的方法。 这种方法是先产生对后面将要出现的成分的预期，然后再通 过逐步吃进待分析的字符串来验证预期。 - 如果预期得到了证明，就说明待分析的字符串可以被分析 为所预期的句法结构。 - 如果某一个环节上预期出了差错，那就要用另外的预期来 替换（即回溯）。 - 如果所有环节上所有可能的预期都被吃进的待分析字符串 所“反驳”，那就说明待分析的字符串不可能是一个合法的 句子，分析失败。 自顶向下分析法(2)：示例 自顶向下分析法(3)：示例1 自顶向下分析法(4)：示例 自顶向下分析法(5)：示例 自顶向下分析法(6)：示例 自顶向下分析法(7)：示例 自顶向下分析法(8)：示例 自顶向下分析法(9)：示例 自顶向下分析法(10)：示例 自顶向下分析法(11)：示例 自顶向下分析法(12)：示例 自顶向下分析法(13)：示例 自顶向下分析法(14)：示例 自顶向下分析法(15)：示例 自顶向下分析法(16)：示例 自顶向下分析法(17)：示例 自顶向下分析法(18)：示例 自顶向下分析法(19)：状态空间的观点 自顶向下分析法(20) ：一种改进方法 为了在分析过程中及时发现错误，分析器应尽早与输入句子进行比较。 在状态描述中再加入一正整数来表示分析所对应的句子的当前位置。 自顶向下分析法(21) ：一种改进方法 例 位置是类似以下设置的： 1 The 2 dogs 3 cried 4 一种典型的状态形如 ((N VP) 2) 这一状态表示从句子的位置2开始，分析器需要 找一个名词(N)及一个动词短语(VP)。 自顶向下分析法(22) ：一种改进方法 从旧状态产生新状态时，要看表中第一个符号是词性符号还是其他非终极符。若为词类符号(如这里的N)，且从当前位置读入的词具有该词性，那么就可以将第一个符号去掉，同时将位置计数加1。 例(续) 若在状态((N VP) 2)，从句子的位置2读入的词的词类是N，则新状态变为((VP) 3)。这时状态的符号表中第一个符号VP为其他非终极符，需要使用重写规则，假定使用规则VP?V NP ，则状态变成 ((V NP) 3) 自顶向下分析法(23) ：一种改进方法 算法 1. 选择当前状态：从可能状态列表中选择第一个状态，并称之为C。从可能状态表中去掉C。若表为空，在算法失败。 2. 若C的符号表为空。如果位置指向句子末尾，则算法成功；如果位置不指向句子末尾，则goto 1(回溯)。 3. 否则(若C的符号表不为空)，按下面方法产生新状态： 若C的符号表的第一个符号表示词性。如果句子的下一个词具有该词性，则通过从C的符号表中去掉该符号并调整位置指针来构造一新状态，然后将新状态加入可能状态列表；如果句子的下一个词不具有该词性，则goto 1。 否则，若C的第一个符号为其他非终极符，为该符号的每条重写规则产生一新状态，然后将所有这些新状态加入可能状态列表。 goto 1. 自顶向下分析法(24) ：一种改进方法 自顶向下分析法(25) ：一种改进方法 自顶向下分析法(26) ：一种改进方法 自底向上分析法(1) 自底向上的方法也叫基于归约的方法。 这种方法是先逐步吃进待分析字符串，把它们从局部到整体 层层归约为可能的成分。 -如果整个待分析字符串被归约为开始符号S，那么 分析成功。 -如果在某个局部证明不可能有任何从这里把整个待分析字 符串归约为句子的方案，那么就需要回溯。 -如果经过回溯始终无法将待分析字符串归约为S，那么 分析失败。 自底向上分析法(2) 自底向上分析法(3) 自底向上分析法(4) 自底向上分析法(5) 自底向上分析法(6) 自底向上分析法(7) 自底向上分析法(8) 自底向上分析法(9) 自底向上分析法(10) 自底向上分析法(11) 自底向上分析法(12) 自底向上分析法(13) 自底向上分析法(14) 自底向上分析法(15) 自底向上分析法(16) 自底向上分析法(17) 自底向上分析法(18)：线图分析法 基本数据结构是线图(chart)，它允许分析器存储已完成的部分匹配以避免重复的匹配。 匹配基于某个句子成分(Constituent)，这里称为Key。为了找到与包含给定Key的串相匹配的规则，可以： ? 找以给定Key开始的规则； ? 找开始于更早的Key的规则，但需要当前Key来结束或扩展此规则。 自底向上分析法(19)：线图分析法 自底向上分析法(20)：线图分析法 规则右边在“?”之前的Key是已分析(匹配)过的。若下一个Key是ADJ，则规则4被启动，同时