最大熵模型and自然语言处理.pdfVIP

自然语言处理的最大熵模型 常宝宝 北京大学计算语言学研究所，100871 （一） 日常生活中，很多事情的发生表现出一定的随机性，试验的结果往往是不确定的，而且 也不知道这个随机现象所服从的概率分布，所有的只有一些试验样本或样本特征，统计学常 常关心的一个问题，在这种情况下如何对分布作出一个合理的推断？根据样本信息对某个未 知分布作出推断的方法，最大熵的方法就是这样一个方法。 最大熵原理是在 1957 年由 E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布 的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已 知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性， 熵最大的时侯，说明随机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准 确预测最困难。从这个意义上讲，那么最大熵原理的实质就是，在已知部分知识的前提下， 关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出 的唯一不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束 和假设根据我们掌握的信息无法作出。 看一个简单的例子：设 a ∈{x , y }且 b ∈{0, 1}，要推断概率分布p (a,b) ，唯一所知道的信 息是p (x ,0) + p (y ,0) = 0.6，即： p (a,b) 0 1 x ? ? y ? ? 0.6 1.0 由于约束条件很少，满足条件的分布有无数多个，例如下面的分布就是满足已知条件的 一个分布： p (a,b) 0 1 x 0.5 0.1 y 0.1 0.3 0.6 1.0 但按照最大熵原则，上述分布却不是一个好的分布，因为这个分布的熵不是满足条件的 所有分布中熵最大的分布。按照最大熵的原则，应该选择的下面的分布： p (a,b) 0 1 x 0.3 0.2 y 0.3 0.2 0.6 1.0 因为，最大熵原则要求，合理的分布应该同时满足要求： （1） p * arg max H (p ) arg max[− ∑p (a, b) log p (a, b)] p ∈P p ∈P a ∈{x ,y },b∈{0,1} （2）p (x ,0) +p (y ,0) 0.6 p x +p x +p y +p y （3） ( ,0) ( ,1) ( ,0) ( ,1) 1 上述例子比较简单，通过观察就可以得到熵值最大的概率分布，即使不能观察得到，也 可以通过解析的方法得到。可是对于很多复杂的问题，往往不能用一个解析的办法获得。 （二） 自然语言处理中很多问题都可以归结为统计分类问题，很多