信息论基础课件2.1.3.pptVIP

* 2.1.3 信源熵的基本性质和定理 （1）非负性。即 这种非负性对于离散信源的熵是合适的，但对连续信源来说这一性质并不存在。以后可以看到，在相对熵的概念下．可能出现负值。 （2）对称性。当变量的顺序任意互换时，熵函数的值不变。 H(p1，p2，…，pr)= H(p2，p1，…，pr) =H(p3，p1，…，pr)=… 所以说，熵的总体特性，只与信源的总体结构有关，而不在乎个别消息的概率，甚至与消息的取值无关。 （3）最大离散熵定理 定理：信源X中包含n个不同的离散消息时，信源熵H（X）有 当且仅当X中各个消息出现的概率全相等时，上式取等号。 证明： 令， 当且仅当 即 时，等号成立。 上述定理说明，当信源X中各个离散消息以等概率出现时可得到最大信源熵 4. 扩展性： 该性质说明信源的消息数可以增多，若增多的这些离散消息对应的概率很小，可以忽略其对熵的贡献 5. 确定性： 若信源概率空间中任一概率pi=1（i=1，2，…，r)则 H(X)= H(p1，p2，…，pr)=0 6. 可加性： H(XY)=H(X)+H(Y) 若信源X、Y相互间统计独立，则： 当X与Y相关联的情况下满足强可加性。即 证明： 它表明，在X和Y相关联的情况下，信源(XY)每发一 个符号所提供的平均信息量，等于信源X每发一个符 号所提供的平均信息量，再加上在X已知的条件下， 信源Y再发一个符号所提