机器学习 课件 7.3最大熵模型.pdf

最大熵模型

概率无向图模型

最大熵模型（maximumentropymodel，MaxEnt）

基本思想：在学习概率模型时，所有可能的模型中熵最大的模型是最

好的模型；若概率模型需要满足一些约束，则在满足已知约束的条件

集合中选择熵最大的模型。

最大熵模型

最大熵原理1957年由EdwinThompsonJaynes提出

•在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识

最不确定或最随机的推断，这是可以做出的不偏不倚的选择。

•最大熵原理是对一个随机事件的概率分布进行预测时，预测应当满足全部

已知的约束，而对未知的情况不做任何主观假设。在这种情况下，概率分

布最均匀，预测的风险最小，因此得到的概率分布的熵最大。

前提：需满足一定约束；

不做任何假设，在约束外的事件发生概率为等概率。

最大熵模型

最大熵模型最大熵原理应用于分类问题得到最大熵模型

约束条件：

引入特征函数f(x,y)：

特征函数f(x,y)描述x与y之间的某一事实

=1,

当足某一事实

0，

其他

最大熵模型

最大熵模型

~

P(x,y)E~(f)

特征函数f(x,y)关于经验分布

期P

望：

~

E~(f)P(x,y)f(x,y)

P

x,y

~

()

特征函数f(x,y)关于P(Y|X)与经验分布的期望

：

~

()()

==

最大熵模型

最大熵模型

Ø经验分布与特征函数结合能代表概率模型需要满足的约束，只需使得两个期望相等

~~

EP(f)E~(f)P(x)P(y|x)f(x,y)P(x,y)f(x,y)