第6节 PCAamp;ICA-2.ppt

第六章 PCAICA §6-4 信息熵(Information Entropy) 1.离散事件的熵 (Entropy ) 一、熵的定义与概念 消除的不确定性（Uncertainty )越多则获得的信息量越大。“信息量”用“熵”来度量，其定义为： 举例：一件事情发生前其结果是个悬念，即，其结果有一定的不确定性。 国家足球队与五邑大学队比赛，胜、负的可能性为1 : 0，不确定性为0； 国家队和韩国队比赛，胜、负的可能性为0.3 : 0.7，有一定的不确定性； 国家队和伊朗队比赛，胜、负的可能性为0.5 : 0.5，不确定性很强； 比赛之前可以根据经验对结果作出预测但不能肯定，即，预测的结果中含有不确定性。比赛后不确定性消失，即，观看者得到了“信息” 从而消除了赛前的不确定性，赛前不确定性越强，比赛过程给出的信息“量”越大。 (6-52) 式中：X表示随机事件，ai是X的可能的取值；P(X= ai)是X 取值为的概率。 2.连续随机变量的熵——微熵 ( Differential Entropy ) 引申(6-52)对离散随机变量熵的定义，连续随机变量X的熵可表示为： 简单性质： 3.变换的熵 随机矢量的熵 事件 X 在连续范围内取值，其概率密度函数为：p(x)。 当Dx 很小时X 在Dx上取值的概率近似为： Dx p(x) ， 概率分布 p(x) 的范围越窄，则，熵 H(x) 越小； 微熵可能小于0。 随机矢量的分布密度函数，即，矢量中各个分量的联合分布： (6-53) (6-54) (6-55) 其微熵为： (6-55) 随机变量 x1、x2、…、xM相互独立时，有： 变换的概率密度函数 设随机矢量 X 和 Y 之间存在映射关系： (6-57) 如果映射G可逆，即： 存在且唯一。 则密度函数PY(Y)可由PX(X)导出： (6-58) 式中JG(X)是雅可比（Jacobian）矩阵，定义为： (6-59) 其中 det JG(X) 表示雅可比行列式。 当G为线性函数时，即： 且 存在时，简化为： (6-60) 变换的熵，即，随机变量函数的熵： 信息传输变换中“熵不减原理”：在任何传输和变换过程中，信息熵不会减小。即，任何传输和变换都不能减少问题的“不确定性”，也就是，任何传输和变换本身不可能增加信号的信息量。或者说，任何数学手段都不能使信号中的信息量增加。 熵，即密度函数倒数的对数的数学期望。随机矢量 Y 的熵可以表示为： (6-61) 可以证明 所以，必有 : 此即： 信号尺度对熵的数值的影响 设 D 为对角矩阵，则 Y=DX 退化为一尺度变换： 由公式(6-61)可以得到Y 的熵为： 这表明微熵是尺度敏感的，即，同一个随机矢量用不同尺度（量纲）的观测结果计算得到的熵大小不同。为了消除这种现象，通常将信号做归一化处理，使之具有相同尺度： 4、互信息 4.1 由熵定义的互信息 4.2 库尔贝克一莱布勒散度( Kullback-Leibler — K-L Divergence ) K-L散度非负，因此，可以作为两个随机变量或随机矢量之间的“距离” 即：随机变量之间的信息度量，是衡量随机事件、信号之间关联程度的测度。 (6-63) 显然，当 相互独立时，互信息为0。 元素之间的互信息定义为： 随机矢量 和 两个 M 维概率密度函 数的 K-L 散度定义为： (6-64) 其缺点是具有不对称性，即： 设，已知随机变量 x 的若干个函数的数学期望： 则，满足条件： 且具有最大熵的分布函数 p(x)，就是关于该随机变量的最大熵分布。 求解该优化问题得到的解为： (6-66) (6-67) 由(6-67)和(6-66)可以确定待定系数ak，求出 ak 后(6-67)式就是随机变量的概率密度函数的估计。 5、最大熵分布——从数据估计随机变量概率分布的正则化方法之一。 上述问题可以表示成一个优化问题： 例如，设： 则： 并且，假设其估计为： 并且，假设其估计为： 于是，待求的密度分布函数形式为： 这个结论说明：给定方差的情况下，正态分布比其他任何分布的熵都大。 显然，p0(x)是一个均值为零、方差为 s2 的高斯分布， 可直接得到： 负熵的定义为： (6-69) 式中，XGauss是与随机变量 X 具有同样协方差矩阵的Gauss随机矢量，其熵为： (6-70) 其中 S 为已知的协方差矩阵，det S 是协方差矩阵的行列式。 假设 D 是可逆方阵，包括对角矩阵的情况，则 变换 Y=DX 的负熵为： 6、负熵 已知： 这表明 负熵具有满秩变换的不变性和尺度变换的不变性。 负熵可以用来评价一个随机变量的Gauss性，负熵越大则随机变量的分布