8、概率句法分析.pptVIP

概率句法分析 徐志明 哈工大语言技术中心 语言的描述 语言的描述 统计学的方法： 语言是个概率分布。 构造概率模型，描述语言句子的概率分布。 例如：n-gram模型、HMM。 代数学的方法 语言是一个句子集合。 定义一种文法，它可推导出该语言的所有句子。 通过能否推导出完整的句法分析树，判断句子的合法性。 上述两种方法结合 概率文法：将概率引入到语言文法中，分析句子的句法结构。 用概率指导句法结构歧义的消解。 语言文法 语言文法： 四元组：G=(VN ,VT ,R,S) VN：非终结符的集合，表示句子结构分析的中间成分 VT ：终结符的集合，相当于词汇表。 R ：规则集 ：基本形式： 。其中： ， 。 S ：初始符号，代表语言的句子。 例如：句子：The man ate the apple. 文法的类型 0-型（无约束文法） – 无限制 1-型（上下文相关文法） αAβ ? αγβ 2-型（上下文无关文法） A ? γ 3-型（正则文法） A ? aB A ? a 上下文无关文法 上下文无关文法 (Context Free Grammar，CFG) 四元组：G=(VN ,VT ,R,S) VN：非终结符的集合 VT ：终结符的集合。 R ：规则集。基本形式： 。其中： ， 。 S ：初