《NLP_3》.pdfVIP

语言模型 刘挺 哈工大信息检索研究室 2004年春 大纲 • 概述 • 参数估计 • 基本平滑算法 • 其它平滑算法 概述 噪声通道模型 • 原型 0,1,1,1,0,1,0,1 通道 0,1,1,0,0,1,1,0 输入 （增加噪声） 输出 • 模型：出错的概率 • 举例：p(0|1)=0.3, p(1|1)=0.7, p(1|0)=0.4, p(0|0)=0.6 • 任务是： – 已知带有噪声的输出 – 想知道输入是什么（也称为：Decoding) 噪声通道的应用 • OCR – 文本打印(引入噪声), 扫描图像 • 手写识别 – 文本神经肌肉(引入噪声), 扫描图像 • 语音识别 – 文本朗读(引入噪声) 声学波形 • 机器翻译 – 目标语言翻译(引入噪声) 源语言 • 其它：词性标注 – 词性序列选择词形文本 噪声通道：黄金规则 • 适用于OCR，手写识别，语音识别，机 器翻译，词性标注等各个问题 • 贝叶斯公式：P(A|B)=P(B|A)P(A)/P(B) • Abest=argmaxA P(B|A)P(A) • P(B|A)是声学/ 图像/翻译等模型 – 在不同领域用不同的术语来描述 • P(A)是语言模型 什么是语言模型(Language Model) • 语言模型是用来计算一个句子的概率的概率 模型 – 例如：P(w ,w ,…,w ) 1 2 n • 语言模型的用途 – 决定哪一个词序列的可能性更大 – 已知若干个词，预测下一个词 • 应用 – 语音识别 – 机器翻译 – 上下文敏感的拼写检查 应用于语音识别 • 有的词序列听起来很像，但并不都是正 确的句子 – 例子1： • I went to a party. √ • Eye went two a bar tea. – 例子2 ： • 你现在在干什么？√ • 你西安载感什么？ 应用于机器翻译 • 给定一个汉语句子 – 例如：王刚出现在电视上。 – 英文译文： • Wang Gang appeared in TV. • In Wang Gang appeared TV. • Wang Gang appeared on TV. √ 应用于拼写检查 • 举例 – 汉语 • 我自己知道√ • 我自已知道 – 英语 • Wang Gang appeared on TV. √ • Wang Gang appeared of TV. 参数估计 完美的语言模型 • 对于词序列W=w ,w ,…,w 1 2 n • 如何计算p(W) ？ • 根据链式规则： p(W)=p(w )p(w |w )…p(w |w ,…,w )