信息论与编码-曹雪虹-课后习题答案.pptxVIP

《信息论与编码》-曹雪虹-课后习题答案 第二章 2.1 一个马尔可夫信源有 3 个符号?u1, u2,u3? ，转移概率 为： p ?u1 | u1? ?1/ 2 ， p ?u2 | u1? ? 1/ 2 ， p ?u3 | u1? ? 0 ， p ?u1 | u2? ?1/ 3 ， p ?u2 | u2 ? ? 0 ，p ?u3 | u2? ? 2 / 3 ，p ?u1 | u3? ?1/ 3 ，p ?u2 | u3? ? 2 / 3 ，p ?u3 | u3? ? 0 ， 画出状态图并求出各符号稳态概率。 解：状态图如下 ;解 ： p(0 | 00) ? p(00 | 00) ? 0.8 p(0 | 01) ? p(10 | 01) ? 0.5 p(0 |11) ? p(10 |11) ? 0.2 p(0 |10) ? p(00 |10) ? 0.5 p(1| 00) ? p(01| 00) ? 0.2 p(1| 01) ? p(11| 01) ? 0.5 p(1|11) ? p(11|11) ? 0.8 p(1|10) ? p(01|10) ? 0.5 ;(3) 两个点数的各种组合（无序）对的熵和平均信息 量； (4) 两个点数之和（即 2, 3, … , 12 构成的子集） 的熵； (5) 两个点数中至少有一个是 1 的自信息量。 解： (1) ;;2.5 居住某地区的女孩子有 25%是大学生，在女大学 生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多 少信息量？ 解： 设随机变量 X 代表女孩子学历 ;;2.8 试问四进制、八进制脉冲所含信息量是二进制脉 冲的多少倍？ 解： 四进制脉冲可以表示 4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示 8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H (X ) ? log n ? log 4 ? 2 bit / symbol 1 八进制脉冲的平均信息量H (X ) ? log n ? log 8 ? 3 bit / symbol 2 二进制脉冲的平均信息量H ( X ) ? log n ? log 2 ? 1 bit / symbol 0 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信 息量的 2 倍和 3 倍。 2-9 “－” 用三个脉冲 “●”用一个脉冲 ;;32;=0.72bit/符号 ;;;;;;3) ;;;;;;;(1) 求平稳概率 P(j/i)=;源 X 的符号集为（0，1，2）。 求信源平稳后的概率分布 P(0),P(1),P(2) 求此信源的熵 近似认为此信源为无记忆时，符号的概率分布 为平稳分布。求近似信源的熵 H(X)并与H ? 进行比较 ;大值 或者也可以通过下面的方法得出存在极大值: ;; 练习题：有一离散无记忆信源，其输出为X ??0,1, 2?，相 应的概率为 p0 ?1/ 4, p1 ?1/ 4, p2 ?1/ 2，设计两个独立的实验去 观察它，其结果分别为Y1 ??0,1?,Y 2 ??0,1?，已知条件概率: ;;;解： 1) ;则 Y 的概率分布为 ;;2 3;解： （1）此信道是准对称信道，信道矩阵中 Y 可划分成 三个互不相交的子集 由于集列所组成的矩阵;; (1) ;;3-10 一个平均功率受限制的连续信道，其通频带为 1MHZ，信道上存在白色高斯噪声。 已知信道上的信号与噪声的平均功率比值为 10，求该信道的信道容量； 信道上的信号与噪声的平均功率比值降至 5， 要达到相同的信道容量，信道通频带应为多大？ 若信道通频带减小为 0.5MHZ 时，要保持相同的 信道容量，信道上的信号与噪声的平均功率比值应等 于多大？ 解：（1）C ? W log (1? SNR) 2 ? 1?106 log (1?10) 2 ? 3.159Mbps ;其中 n = 2, 所以率失真函数为： ;;u6 ; (1) 因为 A,B,C,D 四个字母,每个字母用两个码,每 个码为 0.5ms, 所以每个字母用 10ms 当 信 源 等 概 率 分 布 时 , 信 源 熵 为 H(X)=log(4)=2 ;43;x5 ;x6 ;（4）哈夫曼编码 ;P(s = P2(0)P6(1) = (3/4)6 (1/4)2