桂林理工大学2009年春季信息论与编码考试试题与答案.docVIP

桂林理工大学2009年春季信息论与编码考试试题与答案 考试时间：7月14日（21周周二）下午15：00-17：00； 地点：4525教室 闭卷考试，不能参考课本、笔记等。 考试中需要一些计算，请准备计算器 题较多，需要熟练，有速度 解题时，先把公式写上，即使没有结果，也会适当给分 一. 填空题（每空一分， 共20分） 2. 自信息是对事物状态（或它的存在方式）的不确定性的一种描述，其中自信息 = ；事件发生前，它表示 时件发生的不确定性 ，事件发生后，它表示 事件所含有的信息量 。 2. 离散信源的熵有如下含义： 在信源输出之前，它表示信源的平均不确定性 ； 在信源输出之后，它表示 每个消息（或符号）所提供的平均信息量 ； 它的单位是： 比特/符号 。 当信源 等概率 分布时，其熵最大，最大值为（设信源有q个符号） 。 2. 离散平稳信源（有记忆）其各维联合概率分布与 时间起点 无关。对于有限记忆长度的离散平稳信源，可用 有记忆长度的条件熵 表示其熵。 3. 平均互信息是输入分布的 上凸 函数，是信道传递概率的 下凸 函数。 3. 信道的信息传输率就是 平均互信息 ，信道容量定义为 固定信道的最大信息传输率 。 3. 有如下串联信道， 写出的大小关系 4. 连续信源的差熵的表达式是=，它其实并不是实际信源输出的绝对熵，只是和离散信源的熵在形式上统一起来了。差熵可以为负值。 4. 写出香农公式： 它给出了 信息传输率 、 带宽 、 信噪比 之间的关系。它给出了 达到无失真传输速率 的理论极限值，又称为香农极限 5. 信源编码是通过压缩信源冗余度来提高 信息传输率 ，而信道编码增加冗余度来提高 信号的抗干扰能力 。 5. 非奇异码、唯一可译码、即时码的包含关系是：非奇异码唯唯一可译码 即时码。 5. 香农第一定理是 无失真变长信源编 定理，他指出 是无失真信源压缩的极限值；该定理又被称为 无噪信道编码 定理。为了提高编码效率，有时需要对N次扩展信源进行编码；对于变长码，在N不太大时，就能达到较高效率，所以比等长码更具优势， 5. 在给定信源的情况下，对它进行编码，不同的编码方式会有不同的平均码长；平均码长最短的码叫做 紧致码（或最佳码）。 5. 在信源编码中，平均码长定义为：，信息传输率定义为： ，编码效率定义为：。 6. 译码的错误概率与 信道的统计特性有关 ，也与 译码规则 有关。 6. 香农第二定理是 有噪信道编码定理，他指出当 信息传输率R＜C时，只要码长n足够长， 并采取适当的编码、译码方式，可以使得 译码的平均错误概率 任意小。 8. 霍夫曼编码是否是最佳码？ 是 ，其平均码长界限为：。 9. 线性分组码中，（7，3）码的码率（信息传输率）为。 10. 线性分组码的最小汉明距离等于 3 。已知最小汉明距离为d，其纠错与检错能力为： 检测e个随机错误时，de+1; 纠正t个随机错、错误时，d2t+1；纠正t个错误，同时检测e个错误时，dt+e+1 。 二：（10分）离散无记忆信源的信源空间（概率空间）为： 求每个信源符号（）的自信息。（2）求信源的信息熵（3）信源符号的概率如何分布时，才能使信源的熵最大？最大熵是多少？（4）写出二次扩展信源的信源空间（5）求二次扩展信源的信息熵（6）信源的输出形成一个消息序列：0012002110，求此序列中平均每个符号携带的信息量。（7）信源不断输出，消息序列趋于无限长，求此序列中平均每个符号携带的信息量。 解：（1）（比特） （比特） （比特） （2）（比特/符号） （3）信源符号等概率分布时，才能使信源的熵最大，最大熵为：（比特/符号） （4） （5）=（比特/符号） （6）（比特/符号） （7）因为信源输出无限长时，其序列概率分布与信源一样，所以每个符号的信息量为：（比特