第9讲信源的相关性和剩余度幻灯片.pptVIP

冗余度(剩余度) 实际的离散信源可能是非平稳的，对于非平稳信源来说，其 H∞ 不一定存在，但可以假定它是平稳的，用平稳信源的H∞来近似。 然而，对于一般平稳的离散信源，求H∞值也是极其困难的。那么，进一步可以假设它是m阶马尔可夫信源，用m阶马尔可夫信源的平均信息熵H(m+1)来近似。 再进一步简化信源，即可假设信源是无记忆信源，而信源符号有一定的概率分布。这时，可用信源的平均自信息量H1=H(X)来近似。 由于信源符号间的依赖关系使信源的熵减小。它们的前后依赖关系越长，信源的熵越小。当信源符号间彼此无依赖、等概率分布时，信源的熵才达到最大。 也就是说，信源符号之间依赖关系越强，平均每个符号提供的信息量就越小。每个符号提供的平均自信息量随着符号间的依赖关系长度的增加而减少。为此，我们引进信源的冗余度（也叫剩余度或多余度）来衡量信源的相关性程度。 对于一般平稳信源来说，极限熵为H∞ (X) ，这就是说，如果我们要传送这一信源的信息，理论上来说只需要有传送H∞ (X)的手段即可。但实际上我们对它的概率分布不能完全掌握，如果把它近似成m阶马尔可夫信源，则可以用能传送Hm (X)的手段去传送具有H∞ (X)的信源，当然这里面就不太经济。 定义： 则冗余度为 　　　 信源的冗余度能够很好