05第五章 n-gram语言模型专用课件.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 语言与其模型的交叉熵 某语言L，其真实的概率分布为p(x)，我们构造的该语言的概率模型为q(x)，那么该语言与其模型的交叉熵为： 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 语言与其模型的交叉熵 如果我们将语言视为平稳各态可遍历的随机过程： 那么 迷惑度 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 举例 举例：150万词WSJ语料库得到的不同n-gram语言模型的迷惑度： Unigram:962 Bigram:170 Trigram:109 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 音字转换系统 理论： 数据结构 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 yi zhi mei li de xiao hua 一 以 … 一 直 一 致 之 只 每 没 美 丽 美 … … 里 李 丽 … 的 地 得 德 … 肖 小 校 花 … 花 话 … 消 化 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 附录1 语言模型构造实例 N-gram语言模型构造举例 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 附录2 最大熵模型基础 最大熵原理 最大熵模型 一种基于最大熵原理的统计预测模型。 最大熵原理 在一定的限制条件下，尽可能地选择熵最大的概率分布（均匀分布）作为预测结果 对不知道（限制条件以外）的情形，不做任何假设 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 举例-1 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 抛一枚硬币： p(H)=p1, p(T)=p2. 限制条件: p1 + p2 = 1 问题：如何估计概率分布 p=(p1, p2)? 基于最大熵原理的答案: 选择使H(p)最大的那个p p1 p1=0.3 举例-2 假设在训练语料库中，有如下词性标记及出现次数 满足条件1：p(NN)+p(NNS)+p(NNP)+p(NNPS)+p(VBZ)+p(VBD)=1 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 Tag NN NNS NNP NNPS VBZ VBD freq 3 5 11 13 3 1 举例-2（续） 熵最大分布 问题：没有反映出真实的分布，过于均匀 添加限制 研究生专业必修课 自然语言处理 , 2007年秋季 Copyrights @ 2007. HIT. All Rights Reserved 哈尔滨工业大学计算机学院语言技术中心 哈工大-