信息论与编码试题.pdfVIP

模拟试题一 一、概念简答题（共 10 题，每题 5 分） 1. 简述离散信源和连续信源的最大熵定理。 2. 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3. 解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码 长最小为多少？编码效率最高可达多少？ 4. 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5. 设某二元码字 C={111000 ，001011，010110， 101110} ， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为 110110 时，应译成什么码字？ 6. 一平 稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符 号，求 和平均符号熵 7. 分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8. 二元无记忆信源，有 求： （1 ）某一信源序列由 100 个二元符号组成，其中有 m个“ 1”，求其自信息量？ （2 ）求 100 个符号构成的信源序列的熵。 9. 求以下三个信道的信道容量： ， ， 10. 已知一（ 3，1，3）卷积码编码器，输入输出关系为： 试给出其编码原理框图。 二、综合题（共 5 题，每题 10 分） 1. 二元平稳马氏链，已知 P （0/0 ）=0.9 ，P （1/1 ）=0.8 ，求： （1 ）求该马氏信源的符号熵。 （2 ）每三个符号合成一个来编二进制 Huffman 码 , 试建立新信源的模型，给出编码结果。 （3 ）求每符号对应的平均码长和编码效率。 2. 设有一离散信道，其信道矩阵为 ，求： （1 ）最佳概率分布？ （2 ）当 ， 时，求平均互信息 信道疑义度 （3 ）输入为等概率分布时，试写出一译码规则，使平均译码错误率 最小，并求此 3. 设线性分组码的生成矩阵为 ，求： （1 ）此（ n，k ）码的 n=？ k= ？，写出此（ n ，k）码的所有码字。 （2 ）求其对应的一致校验矩阵 H。 （3 ）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。 （4 ）若接收码字为 000110，用伴随式法求译码结果。 4. 二元对称信道的信道矩阵为 ，信道传输速度为 1500 二元符号 / 秒，设信源为等概率分布， 信源消息序列共有 13000 个二元符号，问： （1 ）试计算能否在 10 秒内将信源消息序列无失真传送完？ （2 ）若信源概率分布为 ，求无失真传送以上信源消息序列至少需要多长时 间？ 5. 已知（ 7，4 ）循环码的生成多项式 ，求： （1 ）求该码的编码效率？ （2 ）求其对应的一致校验多项式 （3 ）写出该码的生成矩阵，校验矩阵。 （4 ）若消息码式为 ，求其码字。 模拟试题一答案 一、概念简答题（共 10 题，每题 5 分） 1. 答：离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指 数分布的熵最大。 2. 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息为 表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后 Y 的平均不确定性减少的量，还表示通信前后 整个系统不确定性减少的量。 3. 答：等长信源编码定理：对于任意 ，只要 ，则当 L 足够长时必