信息论与编码3信源及信源熵2.pptVIP

* 信息论与编码-信源及信源熵 由上式可知，所定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。这一点可以这样理解：因为连续信源的可能取值数是无限多个，若设取值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。 * 信息论与编码-信源及信源熵 既然如此，那么为什么还要那样来定义连续信源的熵呢？一方面，因为这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）；另一方面，因为在实际问题中，常常讨论的是熵之间的差值，如平均互信息等。在讨论熵差时，只要两者离散逼近时所取的间隔 一致，无限大项常数将互相抵消掉。由此可见，连续信源的熵 称为差熵，以区别于原来的绝对熵。 * 信息论与编码-信源及信源熵 同理，可以定义两个连续变量X,Y的联合熵和条件熵，即 * 信息论与编码-信源及信源熵 它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息： 这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。 * 信息论与编码-信源及信源熵 2.3.2 最大熵定理 在离散信源中，当信源符号等概率分布时信源的熵取最大值。在连续信源中，差熵也具有极大值，但其情况有所不同。除存在完备集条件∫R p(x)dx=1外，还有其它约束条件。当各约束条件不同时，信源的最大熵值不同。 * 信息论与编码-信源及信源熵 求泛函 的极值. 一般情况，在不同约束条件下，求连续信源的差熵的最大值，就是在下述若干约束条件下 * 信息论与编码-信源及信源熵 通常我们最感兴趣的是两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。下面分别加以讨论。 （1）峰值功率受限条件下信源的最大熵 定理：若信源输出的幅度被限定在[a,b]区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于log(b-a)。 此时， * 信息论与编码-信源及信源熵 （2）平均功率受限条件下信源的最大熵 定理：若一个连续信源输出符号的平均功率被限定为P（这里是指的交流功率，即方差σ2），则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为1/2log2πeP . 高斯分布（正态分布）： （其中，m为数学期望，σ2为方差） * 信息论与编码-信源及信源熵 在限制信号平均功率的条件下，正态分布的信源有最大差熵，其值随平均功率的增加而增加。 上述定理说明，连续信源在不同的限制条件下有不同的最大熵，在无限制条件时，最大熵不存在。 根据最大熵定理可知，如果噪声是正态分布时，则噪声熵最大，因此高斯白噪声获得最大噪声熵。也就是说，高斯白噪声是最有害的干扰，在一定平均功率下，造成最大数量的有害信息。在通信系统中，往往各种设计都将高斯白噪声作为标准，并不完全是为了简化分析，而是根据最坏的条件进行设计获得可靠性。 * 信息论与编码-信源及信源熵 §2.4 离散序列信源的熵 前面我们讨论的指是最基本的离散信源，即信源每次输出只是单个符号的消息，给出了用信息熵H(X)来对基本离散信源进行信息测度，研究了信息熵的基本性质。 然而，往往很多实际信源输出的消息是时间上或空间上的一系列符号，即离散随机序列，在这个序列中，每一位出现哪个符号都是随机的，而且前后符号的出现是有统计依赖关系的（有记忆离散信源序列）。 * 信息论与编码-信源及信源熵 此时，可用随机矢量来描述信源发出的消息，即 ，其中任一变量 都是随机变量，它表示t=i时刻所发出的符号。信源在t=i时刻将要发出什么样的符号决定于两方面： (1)与信源在t=i时刻随机变量 的取值的概率分 布 有关。一般情况下，t不同时，概率分布也不同，即 . * 信息论与编码-信源及信源熵 (2)与t=i时刻以前信源发出的符号有关，即与条件概率 有关。同样在一般情况下，它也是时间t的函数，所以 以上所叙述的是一般随机序列的情况，它比较复杂。下面我们只讨论离散无记忆序列信源和两种较简单的离散有记忆序列信源：平稳序列信源和齐次遍历马氏链信源。 * 信息论与编码-信源及信源熵 2.4.1 离散无记忆信源的序列熵 设信源输出的随机序列为 ，序列中的变量