第二章信源及信息熵22.ppt

5、连续性： 即信源概率空间中概率分量的微小波动，不会引起熵的变化。 6．递推性 这性质表明，假如有一信源的n个元素的概率分布为 ，其中某个元素 又被划分成m个元素，这m个元素的概率之和等于元素 的概率，这样得到的新信源的熵增加，熵增加了一项是由于划分产生的不确定性。 【例2.3】 运用递增性计算H(1/2,1/8,1/8,1/8,1/8)。 解 H(1/2,1/8,1/8,1/8,1/8) = H(1/2,1/2)+1/2×H(1/4,1/4,1/4,1/4) =1+(1/2) ×2=2 比特/符号 7、最大熵定理(极值性) 上式表明，对于具有n个符号的离散信源，只有在n个信源符号等可能出现的情况下，信源熵才能达到最大值，这也表明等概分布的信源的平均不确定性最大，这是一个很重要的结论，称为最大离散熵定理。连续信源的最大熵则还与约束条件有关。 例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit 证明：设概率矢量P=(p1,p2, …pn),并有 另设随机变量 ∵log Y在正实数集（Y0)上是一上凸函数。 定义区间（a,b)上的一个函数 为凸函数，如果对任意 和