信息论基础第二章讲义解说.ppt

上面两种证明方法是信息论中 经常用到的证明方法 证明方法二：利用log x的∩型凸函数性质 = log 1 = 0 证毕 H(X)-log M 3．熵函数的性质 （1）对称性 集合X = {x1，x2，…，xN }中的各元素x1，x2，…，xN任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。 例如 和 的熵是相等的。 （4）扩展性：离散事件集 ，增加一个 不可能事件xN+1后，得到集合，δ→0，则两个集合的熵相等 （2）非负性：H(X)? 0 （3）确定性：在集合X = (x1，x2，…，xN)中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为 （5）可加性： 集合X = {x1，x2，…，xi，xi+1，…，xN}的概率分布为： 则下式成立： H(X)= H(x1，x2，…，xi，xi+1，…，xN)