同济跨学科选修信息论第二章习题解答.docVIP

第二章习题解答 1. 总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为： 该消息提供的信息量： 比特。 2. 因为 以及消息提供的信息量与其出现概率倒数的对数成正比，所以，即”现在完成一台仪器B”提供的信息量大于”现在完成一台仪器C”提供的信息量。 规律： (1)出现概率为零的消息可略去。 (2)概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。 3. (1) 比特/每张牌 (2)出现的概率为： 王出现的概率为： 比特/每张牌。 4. 天气预报： 比特/每次预报 老农预报： 比特/每次预报。 5． 解： 信源熵 比特/消息 二元信源的最大熵 比特/消息 冗余度 重复三次信源熵 比特/消息 冗余度 重复四次信源熵 比特/消息 冗余度 重复四次不合理，因2比2时就不能采用最大似然法判决。 6． 解： 先写出 再根据式求各联合概率 同样得  求Y端概率空间的各 同样得 求各熵 比特/每对消息 比特/消息 比特/消息 接收可靠的依据是根据下式求,越大表示越可靠 可见接收信号A最可靠 7. 解： 求信源熵 比特/消息 消息/秒 比特/秒 如果点,划出现的概率相等时,则 比特/消息 消息/秒 比特/秒 可见信息速率反而降低了. 但与理论不矛盾,因为该信源的两个消息是非同价代码(每个码元(消息)的时间长度不同), 因此才有此结果。 8. 解: 先写出 根据公式计算联合熵 求信宿端符号分布概率 根据公式计算后验概率 求各熵 比特/消息 比特/消息 求接收熵 比特/消息 求接收熵速率 比特/秒 12． 试证明，并说明等式成立的条件。 证明： 只要证明即可 原=左 - 右= 证毕 当时等式成立 即当独立无关时等式成立 15. 解: (1) 如无相关性 比特/消息 (2) 如有相关性根据已知条件可写出 有2个符号:,一阶:,状态数:个 于是可以画出如下的状态转移图 根据状态转移图列方程组 解得 计算马尔可夫信源熵 比特/消息 (3) 二元信源最大熵为1比特/消息 情况(1)的剩余度 情况(2)的剩余度 9. 解: 山农法: 码字 码长 码元/符号 求信源熵: 比特/符号 编码后每码元提供的信息量: 比特/码元 二元信源最大码元熵为1,故效率 哈夫曼法： 由于平均码长与山农法一样,故效率也为99%。一般情况下哈夫曼法效率高,但山农法如果每次划分概率很接近,则效率也很高。 11. 解: 根据公式: (1) 信噪比为10 比特/秒 (2) (3) 说明如果信噪比降低,则为保持信道容量不变,必须加大信道带宽。反之加大信道带宽,则可降低对信噪比的要求。 17. 解: （1） 先写出 根据公式计算联合熵 根据公式计算： 信宿端符号分布 求各熵 比特/消息 比特/消息 比特/消息 求接收熵 比特/消息 求噪声熵 比特/消息 （2） 强对称信道，令n=1, 比特/秒 等概分布时达信道容量。 20. 根据信道矩阵画出下图： 先写出 根据公式计算联合熵 由于信道对称， 可根据公式计算疑义度熵，但也可用山农的理想观察者原理计算: 比特/消息 比特/秒 而要求的传信率为： 比特/秒，大于1289比特/秒，故10秒内无法无失真传递完。 21. 001000000010000 N=15 解: 编码: 于是得L-D码 0010 0101111 译码: 修正: 故译码恢复出原序列:001000000010000