人工智能ArtificialIntelligence精品讲义.pptVIP

句法分析（1） 句法分析的主要任务： 确定输入句子的结构：识别句子的各个成分及其之间的关系 句子结构的规范化：目的是简化后续处理 分析自然语言的方法主要分为两类： 基于规则的方法：如短语结构语法和Chomsky语法体系 基于统计的方法 短语结构语言（1） 定义 句子：一个符号串 语言：句子的集合 语法：对一个句集一种有限的形式化描述 描述一般语言的方法： 识别器：由程序判断读入的符号串是不是一个句子 短语结构语法：一种基于产生式的形式化工具，也称为产生式语法 短语结构语言（2） 定义：短语结构语法定义为：G＝(T，N，S，P） T是终结符集合，即被定义的语言的所有词 汇（或符号） N是非终结符集合，这些符号用于描述语法 成分，并不出现于句子中。 则有：V＝T?N，T?N＝?（空集），V是属于该语法的全部符号。 S是起始符号，它是N中的一个成员。 P是一个产生式规则集。a?b (a?b,a?V+,b?V*) 短语结构语言（3） 在短语结构语法中，基本运算是把一个符号串重写为另一个符号串，每条语法规则也叫重写规则 一个句子的产生就是从S符号到词汇串的推导过程 如果一个程序能够根据一个短语结构语法来确定一个句子的推导，则它可称为一个句法分析器(parser)。 语法G所定义的语言记为L(G): L(G)={W | W?T*, S?*GW} 短语结构语言（4） 刻画语言的形式体系的强和弱 递归可枚举语言：如果有一个程序，它能以某种顺序逐个地输出（即枚举）一种语言的句子，这种语言是递归可枚举的 递归语言：如果有一个程序，它在读入一个符号串后能最终确定这个串是或不是某种语言的一个句子，这称该语言是递归 短语结构语言（5） 正则语法： 正则语法有两种形式： 左线性语法：如 A ? a | Ba 右线性语法： 如 A ? a | aB 可以表示如下的句子： a*b* 语法例子： S ? a | S1 | a S S1 ? b | b S1 与有限状态机等价 短语结构语言（6） 上下文无关语法： 语法规则形式为： A ? x 即左边为一非终结符，右边没有限制 可以表示的句子如： anbn 语法例子： S ? a | S b S 该文法应用于程序设计语言中 短语结构语言（7） 上下文有关语法： 语法规则： 规则右边的符号数不能少于左边符号数 右边的符号可以是终止符也可以是非终止符 上下文有关语言是递归的 可以表示的语言： anbncn 语法例子： AB ? BA 短语结构语言（8） 无约束短语结构语法： 语法规则是没有限制的： 左边可以是任意多个终止符或非终止符 右边可以是任意多个终止符或非终止符 该语言是递归可枚举的 该语言与图灵机等价 语法例子： A B ? C 短语结构语言（9） Chomsky体系 无约束语法 上下文有关语法 上下文无关语法 正则语法 CFG的分析算法（1） 用一个短语结构语法对一个句子进行语法分析，意味着寻找一个从起始符到该句子的推导，这个推导一般可以表示为一棵句法树 一般一棵句法树对应的推导不是唯一的，但是如果在推导过程中每次总是重写最左边的非终止符，则称该推导为最左推导。 SENTENCE ?SUBJECTVERBPHRASE ?Mary VERBPHRASE ?Mary VERB OBJECT ?Mary eats OBJECT ?Mary eats cheese CFG的分析算法（2） SENTENCE ::=SUBJECTVERBPHRASE SUBJECT ::=John | Marry VERBPHRASE::=VERBOBJECT VERB ::=eats | drinks OBJECT ::=wine | cheese SENTENCE SUBJECT VERBPHRASE VERB OBJECT eats cheese Mary CFG的分析算法（3） 句法分析器分为： 从推导方向来分： 自顶向下：从树顶的根结点开始推导建立句法树，方向是从起始符S到句子 自底向上：从树底部的叶结点(词或词类)规约，建立句法树，方向是从句子到S 从算法上分： 回溯算法：每次只尝试一种推导，当这种推导失败时便返回以尝试另一种推导 并行算法：同时进行所有的推导 CFG的分析算法（4） 自顶向下的回溯算法 该方法逐个地枚