信息论复习题new.docVIP

复习题 1选择题（共10分，每小题2分） 1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源的熵H X2 A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。 2、信道转移矩阵为，其中两两不相等，则该信道为 A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道 D、具有扩展性能的无噪信道 3、设信道容量为C，下列说法正确的是：（ ） A、互信息量一定不大于C B、交互熵一定不小于C C、有效信息量一定不大于C D、条件熵一定不大于C 4、在串联系统中，有效信息量的值（ ） A、趋于变大 B、趋于变小 C、不变 D、不确定 5、若BSC信道的差错率为P，则其信道容量为：（ ） A、 B、 C、 D、 6、设信道输入为 xm，输出为y，若译码准则是当P y | xm’ ≥P y | xm ，对所有m ≠ m’时，将 y判为 m’，则称该准则为（ ） A 最大后验概率译码准则 B 最小错误概率准则 C 最大相关译码准则 D 最大似然译码准则 7、 线性分组码不具有的性质是（ ） A 任意多个码字的线性组合仍是码字 B 最小汉明距离等于最小非 0重量 C 最小汉明距离为3 D 任一码字和其校验矩阵的乘积 cmHT 0 8.条件熵H（X∣Y） H（X）。 （A）小于 （B）大于 （C）小于等于 （D）大于等于 （A）小于 （B）大于 （C）小于等于 （D）大于等于 3.相对熵总是 。 （A）为正 （B）为负 （C）非正 （D）非负 1. 是最佳码。 A Fano 编码 B Huffman编码 C Shannon编码 D 算术编码 2.字母表为∑＝｛0，1｝，情况下的Shannon编码码长为 B 。 A L x -logp x B L x -logp x C L x -logp x D L x [-logp x ] .字母表为∑＝｛0，1｝，情况下的Shannon-Fano-Elias编码码长为 。 A L x -logp x +1 B L x -logp x +1 C L x -logp x +1 D L x -logp x +1 1.译码错误概率最小的译码为 。 A 最大似然译码 B 最大后验概率译码 C 最小距离译码 D 择多译码 2.下列 D 不属于距离空间的公理。 A 非负性 B 对称性 C 三角不等式 D 反对称性 2填空题（20分，每空2分） 7,4 线性分组码中，接受端收到分组R的位数为____ ，伴随式S可能的值有____ 种,差错图案e的长度为 ，系统生成矩阵Gs为____ 行的矩阵，系统校验矩阵Hs为____ 行的矩阵，Gs和Hs满足的关系式是 。 一张1024×512像素的16位彩色BMP图像能包含的最大信息量为 。 香农编码中,概率为的信源符号xi对应的码字Ci的长度Ki应满足不等式 。 3、设有一个信道，其信道矩阵为 ，则它是 信道（填对称，准对称），其信道容量是 比特/信道符号。 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 必然事件的自信息是 0 。 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编码 。 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。 平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 13必然事件的自信息量是________，不可能事件的自信息量是_________。 14一信源有五种符号 a， b， c， d， e ，先验概率分别为 Pa 0.5， Pb 0.25， Pc 0.125， Pd Pe 0.0625。符号“a”的自信息量为________bit，此信源的熵为________bit/符号。 15如某线性分组码的最小汉明距 dmin 6，最多能纠正____ __个随机错。 16平均互信息量 I X;Y 与信源熵和条件熵之间的关系是________________。