第4讲词法分析刘群.pdf

计算语言学 第4讲 词法分析（二） 刘群 中国科学院计算技术研究所 liuqun@ 中国科学院研究生院2010年春季课程讲义 内容提要 计算语言学讲义(03下)统计语言模型 2 内容提要 计算语言学讲义(03下)统计语言模型 3 内容提要 计算语言学讲义(03下)统计语言模型 4 内容提要 计算语言学讲义(03下)统计语言模型 5 什么是统计语言模型 • 语言模型给出任何一个句子的出现概率： Pr(Sentence=w w …w ) 1 2 n 归一化条件： Σ Pr(Sentence)=1 Sentence • 统计语言模型实际上就是一个概率分布，它给 出了一种语言中所有可能的句子的出现概率 • 在统计语言模型看来，对于一种语言，任何一 个句子都是可以接受的，只是接受的可能性 （概率）不同 • 统计语言模型问题是一个典型的序列评估问题 计算语言学讲义(03下)统计语言模型 6 语言模型的类型 • 理论上，单词串的任何一种概率分布，都是一个语言模型。 • 实际上，N元语法模型是最简单也是最常见的语言模型。 • N元语法模型由于没有考虑任何语言内部的结构信息，显然 不是理想的语言模型。 • 其他语言模型： – 隐马尔科夫模型（HMM）（加入词性标记信息） – 概率上下文无关语法（PCFG）（加入短语结构信息） – 概率链语法（Probabilistic Link Grammar）（加入链语法的结构信 息） • 目前为止，其他形式的语言模型效果都不如N元语法模型 • 统计机器翻译研究中开始有人尝试基于句法的语言模型 计算语言学讲义(03下)统计语言模型 7 N元语法模型－概念辨析 • N元语法模型：N-Gram Model。 • 所谓N-Gram，指的是由N个词组成的串，可以 称为“N元组”，或“N元词串” 。 • 基于N-Gram建立的语言模型，称为“N元语法 模型(N-Gram Model)”。 • Gram不是Grammar的简写。在英文中，并没 有N-Grammar的说法。 • 在在汉语中，单独说“N元语法”的时候，有时 指“N元组(N-Gram)”，有时指“N元语法模型(N- Gram Model)”，请注意根据上下文加以辨别。 计算语言学讲义(03下)统计语言模型 8 N元语法模型－定义 • N元语法模型（N-gram Model） n (P )w (P w| w w... w ) ∏1 2 i 1 i−