第5章 鉴别信息和最小鉴别信息原理.docVIP

第章： 第一节：鉴别信息概论 1．发展历史 50年代，I. J. Good，L. J. Savage and S. Kullback发展起来。 59年S. Kullback出版《Information Theory and Statistics》一书，把相关理论系统化。 70年代J. E. Shore and R. W. Johnson把鉴别信息应用到数字信号处理领域，在谱估计、图象恢复、模式分类等领域具有重要应用。 2．文献中常用的名词 鉴别信息：Discrimination Information 交叉熵：Cross Entropy Kullback熵：Kullback Entropy 相对熵：Relative Entropy 方向散度：Directed Divergence K—L数：K—L Number 3．鉴别信息基本概念 设：随机变量X取值于集合A={a1，a2，… ，aN}，且X的概率分布与假设H1和H2有关。 在假设H1下X的概率分布为 H1： = 在假设H2下X的概率分布为 H2： = 假设H1成立的概率为P（H1），假设H2成立的概率为P（H2），因此有； P（H1|ai）= P（H2|ai）= 由此二式可解得； I（P2，P1，X）= log = log- log 意义：左边的项是假设H2 与H1 取值的对数似然比。 右边第一项为已知取时，假设和的对数似然比。 右边第二项为未知取值时，假设和的对数似然比。 即右边是取值前后的似然比之差。 因此： 是取时提供的鉴别和时倾向于的信息。 定义：对数似然比在假设下的数学期望称为鉴别信息，即： 在不需要指明时可简写为。 特点：①鉴别信息是有方向的，即 ，故又称为方向散度 。 ②两个概率分布之间的散度为 a, 无方向，即对称。 散度性质： b, 。 c, 。 连续随机变量的鉴别信息： 多变量随机变量鉴别信息： 1）联合鉴别信息： 2）条件鉴别信息： 其中：下 下 3）并有关系： = Kullback 鉴别信息与shannon熵的关系 1．Shannon 熵的减少 。 2．鉴别信息是在先验概率为下，通过观察确定后验概率为，若可获得的最大鉴别信息为，则概率分布的不确定性为鉴别信息的差值。 即：概率分布的不确定性为。 3．在及 时有： 因此：shannon熵是kullback不确定性度量的一种特例。 4．鉴别信息与互信息的关系。 两随机变量X与Y的联合鉴别信息为 如在假设下，X和Y相互独立，并有： 如在假设下，X和Y不独立，并 此时有 ， 即两个变量X 和Y的联合概率分布由独立变为不独立时，所得到的鉴别信息等价于X 和Y 不独立时的shannon 互信息。注： = 鉴别信息的性质： 1）非负性：，在时等号成立。 （注：或，当时等号成立） 2）凸性：对而言时下凸函数（∪型） 3）对的一个非空的子集.有 4）可加性; 多个随机变量的鉴别信息在各随机变量相互独立时等于各随机变量的鉴别信息之和。 5）不变性：对X作可逆变换T，有，则X的鉴别信息与相应Y的鉴别信息相等。即; 其中是X概率分布，是相应Y的概率分布。 鉴别信息函数的形式唯一性定理：（R .L.Johnson 1979年完整阐述） 设： 若要求此泛函具有下述性质： 1）有限性：对任何概率密度函数p(x)，恒有F(P,P) 2）可加性：，，则有 3）半有界性;设，则有. 则。其中B,C为常数，B,C,且B,C不同时为零。 最小信息原理（鉴别信息原理）： 设随机变量X具有未知的概率分布密度函数P(x)，其对已知若干函数的数学期望为 ，(约束条件) 问题：当已知先验概率分布密度的条件下，如何对p(x)作出估计？ 因为有约束条件 如果以最小鉴别信息最小为准则，即 则可保证当概率密度函数从到改变量时需要的信息量最小，使鉴别信息最小的分布是满足约束条件下最接近的概率分布。 引入拉格朗日乘子求最小值。 设函数F= 即：F= 计算F的偏导数为零，相当于计算 因此有 注： 解得： 其中： 最大熵原理： 若约束条件为 ， 取信息熵最大为准则，有： 应用拉格朗日乘子法，有： 则 因此： 其中： 对于离散信源，当先验概率为等概率分布时，最小鉴别信