第五章-n-gram语言模型(哈工大关毅).pptx

关毅 guanyi@hit.edu.cn;１、n-gram 语言模型 附录1、语言模型构造实例 附录2、最大熵模型的理论基础;噪声信道模型;噪声信道模型的应用;噪声信道模型的应用-语音识别;噪声信道模型的应用-语音识别;噪声信道模型的其他应用;噪声信道模型的其他应用;香农游戏(Shannon Game);语言模型;基本思想;N-gram语言模型;N-gram语言模型;举例;举例;举例;N的选择：可靠性 vs. 辨别力;可靠性 vs. 辨别力;N的选择;数据稀疏问题;假设某语料库词汇分布如下;最大相似度估计;期望概率分布;期望概率分布;平滑（Smoothing）;拉普拉斯定律LaPlace’s Law(加一平滑法adding one);拉普拉斯定律(adding one);拉普拉斯定律;Lidstone 定律(Lidstone’s Law);Jeffreys-Perks Law;Lidstone’s Law存在的问题;Good-Turing估计;Good-Turing估计示例;Good-Turing估计示例;Good-Turing估计示例;Good-Turing估计示例;关于Good-Turing平滑的两个问题;其他常用平滑方法;平滑的效果;现有的主要语言模型;现有的主要语言模型;现有的主要语言模型;一元模型,N-gram模型与N-pos模型之间的关系;一元模型，N-gram模型与N-pos模型之间的关系;动态、自适应、基于缓存的语言模型;动态、自适应、基于缓存的语言模型;统计语言模型的评价;统计语言模型的评价;统计语言模型的评价;统计语言模型的评价;Kullback-Leibler (KL)距离;语言与其模型的交叉熵;语言与其模型的交叉熵;语言与其模型的交叉熵;举例;音字转换系统;;N-gram语言模型构造举例;;最大熵原理;举例-1;举例-2;举例-2（续）;举例-2（续）;最大熵模型概述;最大熵模型概述（续）;特征;特征(事件)举例;复杂特征;限制条件;从训练数据到可观察的事件;最大熵模型所要解决的问题;几个问题;p*的函数形式;怎样找到p*;最大熵模型的使用;最大熵模型总结;