信息论与编码期末考试题.docVIP

（一） 一、判断题. 1. 当随机变量和相互独立时，条件熵等于信源熵. （ ） 2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （ ） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ） 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ） 6. 连续信源和离散信源的熵都具有非负性. （ ） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. （ ） 9. 率失真函数的最小值是. （ ） 10.必然事件和不可能事件的自信息量都是. （ ） 二、填空题 1、码的检、纠错能力取决于 . 2、信源编码的目的是 ；信道编码的目的是 . 3、把信息组原封不动地搬到码字前位的码就叫做 ? ?. 4、香农信息论中的三大极限定理是 、 、 . 5、设信道的输入与输出随机序列分别为和，则成立的 条件 ?.. 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . 7、某二元信源，其失真矩阵，则该信源的= ?. 三、计算题. 1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为. 计算接收端的平均不确定度； 计算由于噪声产生的不确定度； 计算信道容量以及最佳入口分布. （二） 一、填空题 1、信源编码的主要目的是 ，信道编码的主要目的是 。 2、信源的剩余度主要来自两个方面，一是 ，二是 。 3、三进制信源的最小熵为 ，最大熵为 。 4、无失真信源编码的平均码长最小理论极限制为 。 5、当 时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为 和 。 7、根据是否允许失真，信源编码可分为 和 。 8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是 时，信源具有最大熵，其值为值 。 9、在下面空格中选择填入数学符号“”或“” （1）当X和Y相互独立时，H（XY） H(X)+H(X/Y) H(Y)+H(X)。 《信息论基础》参考答案 一、填空题 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。 5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 具有最大熵，其值为值。 9、在下面空格中选择填入数学符号“”或“” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。 （2） (三) 选择题 1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源的熵H(X2)=( ) A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。 2、信道转移矩阵为，其中