信息熵的性质.docVIP

信息熵的性质 信息熵的性质（摘自互动维客：,更多内容请访问互动维 客！） 一、信息熵 自信息 I(x i ) 是指信源（物理系统）某一事件发生时所包含的信息量，物理 系统内不同事件发生时，其信息量不同，所以自信息 I(xi ) 是一个随机变量， 它不能用来作为整个系统的信息的量度。 山农定义自信息的数学期望为信息熵，即信源的平均信息量: 信息熵表征了信源整体的统计特征，是总体的平均不确定性的量度。对某一特定的信源，其信息熵只有一个，因统计特性不同，其熵也不同。例如，两 个信源，其概率空间分别为： 经计算可知， H(Y)H(X), 说明信源 Y 比信源 X 的平均不确定性要大，即在事件发生之前，分析信源 Y ，由于事件 y 1 ,y 2 是等概率的，难以猜测哪一个事件会发生；而信源 X ，虽然也存在不确定性，但大致可以知道, x 1 出现的可能性要大。正如两场足球赛，其中一场，双方势均力敌；而另一场双方实力悬殊很大。当然,人们希望看第一场，因为胜负难卜，一旦赛完，人们获得信息量大。 也可以这样理解，信息熵 H(X) 表征了变量 X 的随机性。如上例，变量 Y 取 y 1 和 y 2 是等概率的，所以其随机性大；而变量 X 取 x 1 比 x 2 的概率要大的多，这时变量 X的随机性就小。因此，熵反映了变量的随机性，也是表征随机量统计特性的一个特征参数。 二、信息熵的基本性质 1、 对称性 当概率空间中 P(x 1 ), ) P(x 2 )… 序任意互换时，熵函数的值不变，例如下面两个信源空间: 其信息熵 H(X)=H(Y)。 该性质说明，熵只与随机变量的总体结构有关，与信源总体的统计特性有关，同时也说明所定义的熵有其局限性，它不能描述事件本身的主观意义。 2、确定性 如果信源的输出只有一个状态是必然的 ,即 P(x 1 )=1 , P(x2)=P(x3)=… =0 ,则信源的熵: 这个性质表明，信源的输出虽有不同形态，但其中一种是必然的，这意味着其他状态不可能出现。那么，这个信源是一个确知信源，其熵为零。 3、非负性 即 H(X)0 。 因为随机变量 X的所有取值的概率分布为 0 当取对数的底大于 １ 时， logP(x i )0 ,则得到的熵是正值，只有当随机变量是一确知量时，熵才等于零。这种非负性对于离散信源的熵来说，这一性质并不存在。 4、可加性 即统计独立信源 X 和 Y 的联合信源的熵等于它们各自的熵之和。 如果有两个随机变量 X 和 Y ，它们彼此是统计独立的，即 X 的概率分布为 ［ P(x 1 ),P(x 2 ),..., P(x N )］, 而 Y的分布概率为 ［P(y 1 ), P(y 2 ),... ,P(y M )］ ,则联合信源的熵 可加性是熵函数的一个重要特性，正因为有可加性，所以可以证明熵函数的形式是唯一的。 5、极值性 信源各个状态为零概率分布时，熵值最大，并且等于信源输出状态数，因为当 P(x 1 )=P(x 2 )=...= P(x N )=1/N 时， 例如，信源有两种状态时，概率空间 其 H(X)-P(x1) 关系如下 图 所示 , 当 P(x 1 )=1/2 时，熵有最大值。以上分析表明，对于具有 N 个状态的离散信源，只有在 信源 N 个状态等概率出现的情况下，信息熵才能达到最大值。这也表明，等概率分布信源的平均不确定性最大，这是一个很重要的结论，称为最大离散熵定理。 上图 还进一步说明，如果二进制信源输出是确定的，即 P(x 1 )= 1，则 H(X)=0 ，此时表明该信源不提供任何信息；反之，当信源输出为等概率发生时，信源的熵达到最大值，等于 1bit 信息量。