自然语言理解讲义第二章.ppt

自然语言理解讲义 第二章 句法与句法分析(1): 形式语言与自动机 内容提要 如何描述语言 形式文法定义 乔姆斯基的文法层级 索引文法 范畴文法 自动机 文法判定的复杂度 用形式文法描述自然语言 文法、语言与自动机的关系 如何描述一种语言 枚举 – 给出语言中的所有句子 – 对于含无限多个句子的语言不合适 文法(语法) – 给出生成语言中所有句子的方法 – 当且仅当能够用该方法产生的句子才属于该语言 自动机 – 给出识别该语言中句子的机械方法 形式文法(1) 形式文法：四元组G = < VT, VN, S, P > 终结符（Terminals）的有限集合VT – 终结符是句子中实际出现的符号 – 相当于单词表（有时也称为字母表） 非终结符（Non-terminals）的有限集合VN – 非终结符在句子中不实际出现 – 但在推导中起变量作用 – 相当于语言中的语法范畴 形式文法(2) 起始符S – S属于VN – 相当于句法范畴中的句子 重写式规则(Rewriting Rules)的有限集合P或 产生式规则(Production Rules)的有限集合P – 基本形式：??? – 含义：将?改写成? – ?和?是终结符和非终结符组成的串 – ?非空，?可以为空(?) 形式文法(3) 定义 V*=(VN?VT)*，??V*。V*是VN和VT上的任意字符串，包括空串(?)。 V+ =V*-{?}。 直接推导：? x ??? y ? 如果x?y是P中的一条规则 推导： ? ?* ? 如果?可以经过多次直接推导得到? 语言：L(G)={? | ?∈VT*；S ?* ?} 一个例子 例：设形式文法G的VT={the, John, ate, apple}，VN={S, NP, VP, ART, N, V, NAME}, P={1. S?NP VP, 2. VP?V NP, 3. NP?NAME, 4. NP?ART N, 5. NAME?John, 6. V?ate, 7. ART?the, 8. N?cat}，其中NP代表名词短语、VP代表动词短语等等。则句子“John ate the apple”的生成过程如下 S?NP VP (重写S) ? NAME VP (重写NP) ? John VP (重写NAME) ? John V NP (重写VP) ? John ate NP (重写V) ? John ate ART N (重写NP) ? John ate the N (重写ART) ? John ate the apple (重写N) 乔姆斯基的文法层级 乔姆斯基0型文法 短语结构文法，无限制重写文法 PSG：Phrasal Structure Grammar 对规则形式的约束 –对于规则形式没有任何限制 乔姆斯基1型文法 上下文有关语法，上下文敏感语法 CSG：Context Sensitive Grammar 对规则形式的约束： – ??? ?，?是任意串，且?的长度小于?的长度 – ? A ? ? ? ? ? A是非终结符， ?、?、?是任意串 – 以上两种形式等价 – 敏感：在一定的上下文环境下A可改写为? 乔姆斯基2型文法 上下文无关文法，上下文自由文法 CFG：Context Free Grammar 对规则形式的约束： – A?? ：A是非终结符，?是任意串 – 在任何上下文环境下A可改写为? 上下文无关文法的一个例子 乔姆斯基3型文法 正规文法，正则文法 RG：Regular Grammar 对规则形式的约束 – A?Bx或者A?x，A,B是非终结符，x是终结符 一部正则文法可以表示为一个正则表达式 例子：{a{b|c}*}+[d|e]{f|g|h}+ 乔姆斯基层级以外的文法类别 介于CFG和CSG之间的语法类别 – 索引文法（IG: Index Grammar） 可以生成{anbncn}形式的语言 – 树粘接文法 TAG：Tree Adjoining Grammar 与乔姆斯基语法层级相交叉的语法类别 索引文法(1) 索引文法是一个五元组（VN, VT,VI,P,S) VN,VT,S与前面的定义相同 VI是索引的有限集合