[工学]第二章 信源与信息熵.ppt

* * 同理，可以定义两个连续变量X、Y的联合熵和条件熵，即 * * 它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息： * * 2.4.2 波形信源的熵 平稳随机过程 采样 平稳随机序列 令平稳随机矢量 则平稳随机矢量 和 的连续熵和条件熵分别为 * * 那么对于随机波形信源，可由上述各项的极限表达式 给出，即： 对于限频fm，限时tB的平稳随机过程，可以用有限维L=2fmtB随机矢量表示。 * * 2.4.3 最大熵定理 　在离散信源中，当信源符号等概率分布时信源的熵取最大值。在连续信源中，差熵也具有极大值，但其情况有所不同。除存在完备集条件 以外，还有其它约束条件。当各约束条件不同时，信源的最大熵值不同。一般情况，在不同约束条件下，求连续信源的差熵的最大值，就是在下述若干约束条件下 * * 求泛函 的极值。 * * 　　　通常我们最感兴趣的是两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。下面分别加以讨论。 （1）峰值功率受限条件下信源的最大熵定理： 若信源输出的幅度被限定在[a，b]区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于log(b-a)。 此时， * * （2）平均功率受限条件下信源的最大熵定理： 若一个连续信源输出符号的平均功率被限定为P（这里是指的交流功率，即方差 ），则当其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 。 高斯分布（正态分布）：（其中，m为数学期望， 为方差） * * 上述定理说明，连续信源在不同的限制条件下有不同的最大熵，在无限制条件时，最大熵不存在。 应用：根据最大熵定理可知，如果噪声是正态分布，则噪声熵最大，因此高斯白噪声获得最大噪声熵。也就是说，高斯白噪声是最有害的干扰，在一定平均功率下，造成最大数量的有害信息。在通信系统中，往往各种设计都将高斯白噪声作为标准，并不完全是为了简化分析，而是根据最坏的条件进行设计获得可靠性。 * * 2.5 冗余度 实际的离散信源可能是非平稳的，对于非平稳信源来说，其 不一定存在，但可以假定它是平稳的，用平稳信源的 来近似。 然而，对于一般平稳的离散信源，求 值也是极其困难的。那么，进一步可以假设它是m阶马尔可夫信源，用m阶马尔可夫信源的平均信息熵 来近似。 * * 再进一步简化信源，即可假设信源是无记忆信源，而信源符号有一定的概率分布。这时，可用信源的平均自信息量 来近似。 最后，可以假定是等概分布的无记忆离散信源，用最大熵 来近似。 * * 由于信源符号间的依赖关系使信源的熵减小。它们的前后依赖关系越长，信源的熵越小。当信源符号间彼此无依赖、等概率分布时，信源的熵才达到最大。 也就是说，信源符号之间依赖关系越强，平均每个符号提供的信息量就越小。每个符号提供的平均自信息量随着符号间的依赖关系长度的增加而减少。为此，我们引进信源的冗余度（也叫剩余度或多余度）来衡量信源的相关性程度。 * * 对于一般平稳信源来说，极限熵为 ，这就是说，如果我们要传送这一信源的信息，理论上来说只需要有传送 的手段即可。但实际上我们对它的概率分布不能完全掌握，如果把它近似成m阶马尔可夫信源，则可以用能传送 的手段去传送具有 的信源，当然这里面就不太经济。 * * 定义： 则冗余度为 　　　 * * 信源的冗余度能够很好地反映信源输出的符号序列中符号之间依赖关系的强弱。 冗余度越大，表示信源的实际熵 越小，表明信源符号之间的依赖关系越强，即符号之间的记忆长度越长； 反之，冗余度越小，表明信源符号之间的依赖关系越弱，即符号之间的记忆长度越短。 * * 当冗余度等于零时，信源的熵就等于极大熵 ，表明信源符号之间不但统计独立无记忆，而且各符号还是等概分布。因此，冗