ngram语言模型.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 语言与其模型的交叉熵 某语言L，其真实的概率分布为p(x)，我们构造的该语言的概率模型为q(x)，那么该语言与其模型的交叉熵为： 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 语言与其模型的交叉熵 如果我们将语言视为平稳各态可遍历的随机过程： 那么 迷惑度 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 举例 举例：150万词WSJ语料库得到的不同n-gram语言模型的迷惑度： Unigram:962 Bigram:170 Trigram:109 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 音字转换系统 理论