习题2信源与信息熵.doc

第2章 信源与信息熵 香农信息论的基本点 用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。 信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类. 单符号信源概率空间描述 自信息量 单位：bit（一个比特表示一个等概率的二进制符号信息量） 自信息量 与 不确定度 的关系 不确定度: 随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不相同． 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小。 一个出现概率很小的随机事件，很难猜测在某个时刻它 能否发生，所以它包含的不确定度就很大。 若是确定性事件，出现概率为1，则它包含的不确定度为0。 说明: 具有某种概率分布的随机事件不管发生与否，都存在不确定度， 不确定度表征了该事件的特性， 而自信息量是在该事件发生后给予观察者的信息量。 联合自信息量为： 条件自信息量为： 信源熵 =【信源的平均不确定度】=【平均自信息量】 条件熵： 联合熵 联合熵、条件熵与信源熵的关系 H(XY)=H(X)+H(Y/X)，H(XY)=H(Y)+H(X/Y) 互信息定义：后验概率与先验概率比值的对数 平均互信息量 疑义度 条件熵H(X/Y)：信道上的干扰和噪声所造成的对信源符号x的平均不确定度． 噪声熵或散布度 条件熵H(Y/X)：可看作唯一地确定信道噪声所需要的平均信息量． 互信息量与熵的关系 H(XY)=H(X)+H(Y/X) =H(Y)+H(X/Y) H(X)≥H(X/Y)，H(Y)≥H(Y/X) I(X;Y)=H(X)-H(X/Y) =H(Y)-H(Y/X) =H(X)+H(Y)-H(XY) H(XY)≤H(X)+H(Y) 信息不增性： 数据处理过程中只会失掉一些信息，绝不会创造出新的信息． 最大熵定理 (1) 限峰功率最大熵定理： 对于定义域为有限的随机矢量X，当它是均匀分布时，具有最大熵。 (2) 限平均功率最大熵定理： 若连续变量 X的方差一定 ，当它是正态分布时具有最大熵。 信源的序列熵： （请注意：序列X的多种写法！） H(XL)＝H(X1X2…XL)＝H(X1)＋H(X2/X1)＋…＋H(XL/X1X2…XL-1) 平均每个符号的熵为 若当信源退化为无记忆时，有 若进一步又满足平稳性时，则有 推广结论 马尔可夫信源 表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度。 当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无关。 稳态分布概率 定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，Wj 称为稳态分布概率 马尔可夫信源极限熵： 冗余度： 它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度). 其中：H∞(X)为信源实际熵，Hm(X)信源最大熵。 习题2 信源与信息熵 习题2-1 2.1一个马尔可夫信源有3个符号，转移概率为：，，，，，，，，，画出状态图并求出各符号稳态概率。 解： 状态图如下 状态转移矩阵为： 设状态u1，u2，u3稳定后的概率分别为W1，W2、W3 由， 得： 计算可得： 习题2-2 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。 画出状态图，并计算各状态的稳态概率。 解： 因是二阶马尔可夫信源,此信源任何时刻发出的符号只与前两个符号有关,而与更前面的符号无关。 如原来状态为00,则此时刻只可能发出符号0或1,下一时刻只能转移到00,01状态,由于处于00状态发符号0的概率为0.8,处在00状态时发符号1的概率为0.2,转移到01状态, 于是可以列出转移概率矩阵： 状态图为： 设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有 由 得 计算得到 习题2-3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1) (2) (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42