神经网络语言模型及其在语音识别中的应用进展-USTC.PDF

神经网络语言模型 及其在语音识别中的应用进展 刘权 quanliu@ 2014年01月14日 Outline  1. 统计语言模型概述及传统建模方法  2. 领域研究热点——神经网络语言模型  3. 神经网络语言模型在语音识别中的应用进展  4. 总结 1.统计语言模型概述及传统建模方法 1.1 统计语言模型概述  语言在信息论中的定义(Abramson N . Information theory and coding. McGraw-Hill, 1963.) 语言是一个产生字符序列的源 “Language is considered an information source, which emits a sequence of symbols from a finite alphabet (the vocabulary). ”  Statistical Language Model (SLM)：预测字符(词)序列产生的概率 词序列 wm w w  , ,..., w 1 1 2 m m 预测概率 P(wm )  P(w | wi1 ) 1 i 1 i1  语言模型核心问题： P(w | wi1 ) P(w | h ) , h  history of word w i 1 i i i i  语言模型的性能度量 两个语言模型的困惑度，仅当都  基本指标：困惑度 使用相同的词汇时才可以比较。 1 n1 perplexity exp( logP (wn |w1 ))  困惑度与实际任务中的指标并 N n w1 没有等价关系  任务指标：语音识别中的WER ，机器翻译中的BLEU等 1.2 传统建模方法 N-Gram Language Model 建模方法1 —— N元语法语言模型  思想：N-1阶马尔科夫模型，使用前N-1个单词估计下一个单词的概率 发展于1980s ，IBM的Thomas. J Watson研究中心应用N元语法在ASR 中取得很大成绩  数学表示 i1 i1 C(wi1 , w ) j 词序列在语料中 P(w | w )  P(w | w )  iN 1 i C(w ) i 1 i