最大熵模型与自然语言处理-Read.ppt

最大熵模型与自然语言处理MaxEnt Model NLP laputa c-liu01@mails.tsinghua.edu.cn NLP Group, AI Lab, Tsinghua Univ. Topics NLP与随机过程的关系（背景） 最大熵模型的介绍（熵的定义、最大熵模型） 最大熵模型的解决（非线性规划、对偶问题、最大似然率） 特征选取问题 应用实例 总结与启发 NLP与随机过程 NLP:已知一段文字：x1x2…xn（n个词） 标注词性y1y2…yn 标注过程： NLP与随机过程 yi可能有多种取值，yi被标注为a的概率有多少? 随机过程：一个随机变量的序列。 NLP与随机过程 问题： p(yi=a|x1x2…xn y1y2…yi-1)怎么求? yi与x1x2…xn y1y2…yi-1的关系? NLP与随机过程 问题： p(yi=a|x1x2…xn y1y2…yi-1)怎么求? yi与x1x2…xn y1y2…yi-1的关系? What’s Entropy? An Example： 假设有5个硬币：1,2,3,4,5，其中一个是假的，比其他的硬币轻。有一个天平，天平每次能比较两堆硬币，得出的结果可能是以下三种之一： 左边比右边轻 右边比左边轻 两边同样重 问：至少要使用天平多少次才能保证找到假硬币? （某年小学生数学竞赛题目:P） 称硬币(cont.) 答案