湘大信息论与编码试卷.doc

一、（）不可能事件的自信息量是____∞___ 。 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 在信息处理中，随着处理级数的增加，输入和输出消息之间的平均互信息量会 减少 。 若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 假设每个消息的发出都是等概率的，四进制脉冲所含信息量是二进制脉冲的 2 倍。 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农 编码。 霍夫曼 编码方法构造的是最佳码。 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2___个码元错误，最多能纠正___1__个码元错误。 设有一个离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R_小于_C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。 平均错误概率不仅与信道本身的 统计 特性有关，还与_译码 规则和 编码 方法有关 互信息I(X;Y)与信息熵H(Y)的关系为：I(X;Y)H(Y)。克劳夫特不等式是唯一可译码__存在___的充要条件。{00，01，10，11}是否是唯一可译码？___是____。平均互信息的最大值为信道容量。、简答题（共题，每题5分） 平均自信息量： 2, 简述信源的符号之间的依赖与信源冗余度的关系。 当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。 3, 简述香农第一编码定理的物理意义?1.答：信源，等概率分布最大。、（共题，每题分） 2,二元对称信道如图。　　 1）若，求和；2）求该信道的信道容量。解：1）共6分　　　　  2）， （3分）此时输入概率分布为等概率分布。（1分） 3,求以下二个信道的信道容量： ， ， 3答：P1为一一对应确定信道，因此有。P2为具有归并性能的信道，因此有。.信源空间为，试构造霍夫曼码，计算其平均码长和编码效率。 (比率)为3。频带为3kHz，求最大可能传 送的信息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为 多少？ 5答(1) 最大可能传送的信息率是 Ct= w log (1+ Px/Pn ) = 3×1000 × log (1+ 3) = 6×1000比特/秒 (2) 1.5kHZ 6,设一线性分组码具有一致监督矩阵 1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G。 3）写出此分组码的所有码字。 4）若接收到码字（101001），求出伴随式并给出翻译结果。 解：1）n=6,k=3,共有8个码字。（2分） 2）设码字由得 令监督位为，则有 生成矩阵为 （3分） 3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（3分） 4）由得 ，该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）（2分）