语精典课件言模型.pptVIP

语言模型 大纲 概述 参数估计 基本平滑算法 其它平滑算法 概述 噪声通道模型 原型 模型：出错的概率 举例：p(0|1)=0.3, p(1|1)=0.7, p(1|0)=0.4, p(0|0)=0.6 任务是： 已知带有噪声的输出 想知道输入是什么（也称为：Decoding) 噪声通道的应用 OCR 文本?打印(引入噪声), 扫描?图像 手写识别 文本?神经肌肉(引入噪声), 扫描?图像 语音识别 文本?朗读(引入噪声) ?声学波形 机器翻译 目标语言?翻译(引入噪声) ?源语言 其它：词性标注 词性序列?选择词形?文本 噪声通道：黄金规则 适用于OCR，手写识别，语音识别，机器翻译，词性标注等各个问题 贝叶斯公式：P(A|B)=P(B|A)P(A)/P(B) Abest=argmaxA P(B|A)P(A) P(B|A)是声学/图像/翻译等模型 在不同领域用不同的术语来描述 P(A)是语言模型 什么是语言模型(Language Model) 语言模型是用来计算一个句子的概率的概率模型 例如：P(w1,w2,…,wn) 语言模型的用途 决定哪一个词序列的可能性更大 已知若干个词，预测下一个词 应用 语音识别 机器翻译 上下文敏感的拼写检查 应用于语音识别 有的词序列听起来很像，但并不都是正确的句子 例子1： I went to a party. √ Eye went two a bar tea. 例子2： 你现在在干什么？ √ 你西安载感什么？ 应用于机器翻译 给定一个汉语句子 例如：王刚出现在电视上。 英文译文： Wang Gang appeared in TV. In Wang Gang appeared TV. Wang Gang appeared on TV. √ 应用于拼写检查 举例 汉语 我自己知道 √ 我自已知道 英语 Wang Gang appeared on TV. √ Wang Gang appeared of TV. 参数估计 完美的语言模型 对于词序列W=w1,w2,…,wn 如何计算p(W)？ 根据链式规则：p(W)=p(w1)p(w2|w1)…p(wn|w1,…,wn-1) 即使对于很小的n，上面的理想公式也很难计算，因为参数太多 马尔科夫链 有限的记忆能力 不考虑太“老”的历史 只记住前k个词w1,…,wk 称为k阶马尔科夫近似 p(W)=∏i=1…dp(wi|wi-k,…,wi-1), d=|W| N元语言模型 n-1阶马尔科夫近似称为n元语言模型(LM, Language Model) p(W)=∏i=1…dp(wi|wi-n+1,…,wi-1), d=|W| n越大，需要估计的参数越多，假设词汇量为20,000 模型 需要的参数数量 0阶(一元Unigram) 20,000 1阶(二元bigram) 20,000*19,999 = 400 million 2阶(三元trigram) 20,0002*19,999 = 8 trillion 3阶(四元four-gram) 20,0003*19,999 = 1.6*1017 语言模型的讨论 n多大？ 理论上讲，越大越好 经验值：3，trigram用的最多 four-gram需要太多的参数，很难估计了 目前一般直接计算词形，不进行语言学处理，如形态还原等 可靠性(Reliability)和可区别性(Discrimination)成反比，需要折中 n越大，区别力越大；n越小，可靠性越高 可靠性和区别性 可靠性(Reliability )和可区别性(discrimination) 为了有效地推导一个特征，我们希望通过模型的其它特征来预测它，把这些特征分成等价类便于我们预测新的数据。 分类特征越多，对未知分布的目标特征的预测就更精确，即有较好的可区别性，但是这样对每一个分类其实例就较少，统计的数据就不可靠，所以在划分等价类时要在可靠性和可区别性之间找一个折衷点。 长度问题 ?n; ?w??n p(w)=1 ? ?n=1…? ?w??n p(w) 1 (??) 我们试图对所有的词序列建立模型 对于固定长度的任务，没有问题，n一旦固定，累计和为1 比如Tagging等 对于变长的任务，需要对比较短的句子进行折扣 一般模型 对于长度为n的词序列 P’(w)=?np(w), ?n=1…? ?n=1 ?n=1…? ?w??n p’(w)=1 从数据中估计?n 参数估计 参数：用来计算p(w|h)的数值 从数据中得到 数据准备 去掉格式符号 定义词的边界 定义句子边界(插入s和/s等记号) 字母的大小写（保留、