信息理论与编码试卷.docVIP

信息理论与编码试卷Ａ答案 一、填空题 (每空２分，共２0分) １．［］，方差受限为，则X服从 高斯 分布时，其熵达到最大。 2．信息论不等式：对于任意实数，有，当且仅当时等式成立。 3．设信源为X={0，1}，P（0）=1/8，则信源的熵为 比特/符号，如信源发出由m个“0”和（100-m）个“1”构成的序列，序列的自信息量为比特/符号。 4．离散对称信道输入等概率时，输出为 等概 分布。 5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。 6．设DMS为，用二元符号表对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率 0.747 , 0.253 。 二、简答题（30分） 设信源为，试求（1）信源的熵、信息含量效率以及冗余度； 求二次扩展信源的概率空间和熵。 解： （1） （2）二次扩展信源的概率空间为： X\X 1/16 3/16 3/16 9/16 什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为，则它们的分别信道容量为多少？ 答：将H（X|Y）称为信道的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr。 将H（Y|X）称为信道的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs。 信源编码的和信道编码的目的是什么？ 答：信源编码的作用： （1）符号变换：使信源的输出符号与信道的输入符号相匹配； （2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。 信道编码的作用：降低平均差错率。 什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？ 答：香农信道容量公式：，B为白噪声的频带限制，为常数，输入X（t）的平均功率受限于。 由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 什么是限失真信源编码？ 答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。 三、综合题（20+15+15） 设随机变量和的联合概率空间为 定义一个新的随机变量(普通乘积) 计算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）； 计算条件熵 H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）； 计算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。 解：（1） X\Y 0 1 0 1/8 3/8 1/2 1 3/8 1/8 1/2 1/2 1/2 （2） X\Z 0 1 0 1/2 0 1/2 1 3/8 1/8 1/2 7/8 1/8 Y\Z 0 1 0 1/2 0 1/2 1 3/8 1/8 1/2 7/8 1/8 (3) 设二元对称信道的输入概率分布分别为，转移矩阵为， 求信道的输入熵，输出熵，平均互信息量； 求信道容量和最佳输入分布； 求信道剩余度。 解：（1）信道的输入熵； （2）最佳输入分布为，此时信道的容量为 (3)信道的剩余度： 设有ＤＭＣ，其转移矩阵为，若信道输入概率为，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。 解： 最佳译码规则：，平均差错率为1-1/4-1/6-1/8=11/24； 极大似然规则：，平均差错率为1-1/4-1/8-1/8=1/2。