信息论习题集一.docVIP

习题集一 1. 信源发出和两种消息，且。此消息在二进制对称信道上传输，信道传输特征为，。 （1）求的自信息； 解：　 （2）求的自信息； 解： （3）求和的联合自信息； 解： （4）求条件自信息； 解：　 　 （5）求和的互信息。 解： 3.无记忆离散信源的符号集为{0,1}，若信源的概率空间为。计算由100个符号构成的符号序列的熵。 解： 4. 令为掷一枚均匀硬币直至其正面第一次向上所需的次数。 （1）求的概率分布； 解： （） （2）求的熵。 解： 令，则，错位相减得 所以 5.设为[-1，1]上的均匀分布随机变量。 （1）求的微分熵； 解： （2）求的概率密度函数； 解：令，则的分布函数为 ，补充定义 所以的概率密度函数为。 （3）求的微分熵。 解：=．．．．．．．(2分) =．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．(2分) 6. 一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 ，发出符号。 （1）求此信源的二次扩展信源的信源熵； 解：由题意知此信源是无记忆信源，故 （2）求； 解：由题意知此信源是无记忆信源，故 （3）求； 解：由题意知此信源是平稳无记忆信源，故 = 7.已知一个二元一阶平稳马尔可夫信源的状态转移概率为，。 （1）写出此马尔可夫信源的状态转移概率矩阵； 解：由题意知，， 所以状态转移概率矩阵为。 （2）求此马尔可夫信源的平稳分布； 解：由平稳性知，得到， 再由， 解得 。 （3）求此马尔可夫信源的熵率； 解： = （4）求符号序列1000011的概率。 解： 8.已知离散无记忆信源如下， （1）试求信源符号熵； ．．．．．．．．．．．．．．．．．(2分) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．(1分) （2）试求二元的Huffman编码； 符号 S1 S2 S3 S4 S5 S6 S7 概率 0.20 0.19 0.18 0.17 0.15 0.10 0. 01 码字 10 11 000 001 010 0110 0111 本题得分 阅卷签字 9.下面以码字集合的形式给出两种不同的编码，第一个码为，第二个码为。对于上述两种码分别回答下列问题： ① 此码的码长是否满足Kraft不等式？ ② 此码是否是及时码？如果不是，请说明原因。 ③ 此码是否是唯一可译码？如果不是，请说明原因。 （1）对于第一个码分别回答上述问题； 解：① 由于，故此码满足Kraft不等式； ② 此码是及时码； ③ 由于此码是及时码，所以此码也是唯一可译码。 （2）对于第二个码分别回答上述问题。 解：① 由于，故此码满足Kraft不等式； ② 此码不是及时码，因为码字00是码字000的前缀； ③ 此码不是唯一可译码，因为码符号序列000000可以译为00，00，00，也可以译为000，000。 10. 求以下两个信道的信道容量及最佳概率分布： （1） 解：=0（） bit．．(2分) 由于此信道是对称信道，故当输入分布为等概率分布时，输出分布也为等概率分布， 因此最佳概率分布是等概率分布。．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．(1分) （2） 解：=0（） bit．．．．(2分) 11. 对二元信源，其失真矩阵为，求时，率失真函数的和？ 解： ． 12.若随机变量与相互独立，试证明：。 解：由于与相互独立，则。