计算语言学讲义_词法分析(二).pdf

计算语言学 第 4 讲 词法分析（二） 刘群 中国科学院计算技术研究所 liuqun@ 中国科学院研究生院2012 年春季课程讲义 内容提要 计算语言学讲义 04 词法分析 二 2 内容提要 计算语言学讲义 04 词法分析 二 3 内容提要 计算语言学讲义 04 词法分析 二 4 内容提要 计算语言学讲义 04 词法分析 二 5 什么是统计语言模型 ? 语言模型给出任何一个句子的出现概率： Pr Sentence w w …w 1 2 n 归一化条件： ΣSentencePr Sentence 1 ? 统计语言模型实际上就是一个概率分布，它给 出了一种语言中所有可能的句子的出现概率 ? 在统计语言模型看来，对于一种语言，任何一 个句子都是可以接受的，只是接受的可能性 （概率）不同 ? 统计语言模型问题是一个典型的序列评估问题 计算语言学讲义 04 词法分析 二 6 语言模型的类型 ? 理论上，单词串的任何一种概率分布，都是一个语言模型。 ? 实际上， N 元语法模型是最简单也是最常见的语言模型。 ? N 元语法模型由于没有考虑任何语言内部的结构信息，显然 不是理想的语言模型。 ? 其他语言模型： – 隐马尔科夫模型（ HMM ）（加入词性标记信息） – 概率上下文无关语法（ PCFG ）（加入短语结构信息） – 概率链语法（ Probabilistic Link Grammar ） （加入链语法的结构信息） ? 目前为止，其他形式的语言模型效果都不如N 元语法模型 ? 统计机器翻译研究中开始有人尝试基于句法的语言模型 计算语言学讲义 04 词法分析 二 7 N 元语法模型－概念辨析 ? N 元语法模型： N-Gram Model 。 ? 所谓 N-Gram ，指的是由N 个词组成的串，可 以称为“N 元组”，或“ N 元词串”。 ? 基于 N-Gram 建立的语言模型，称为“ N 元语 法模型 N-Gram Model ” 。 ? Gram 不是 Grammar 的简写。在英文中，并 没有 N-Grammar 的说法。 ? 在在汉语中，单独说“ N 元语法”的时候，有 时指“ N 元组 N-Gram ” ，有时指“ N 元语 法模型 N-Gram Model ” ，请注意根据上下文 加以辨别。 计算语言学讲义 04 词法分析 二 8 N 元语法模型－定义 ? N 元语法模型（ N-gram Model ） P w p w p w ∣w ... p w ∣w w ...w 1 2 1 n 1 2 n ?1