信息理论和编码总复习.pptVIP

第六章 限失真信源编码 信息理论与编码 一、填空 二、简答题 1.在对信源进行观察之前，对认识主体来说，信源存在 ，它与信源的 有关。 3. 是自信息量的统计平均，对数以2为底时，单位是 。 2. 考虑任意N个相邻时刻输出的随机变量，将其看成一个新的离散无记忆信源的输出，则称为 。 4. 一般衡量一个信息传递系统的好坏，有两个主要指标，其一，信息率R，即 ，其二，平均差错率，即 。 5. 设Ｘ的取值受限于有限区间［a,b］，则X服从 分布时，其熵达到最大。 9. 最小码间距离是衡量码的性能的重要参数，信道编码在选择码字组成一个码时，只要条件允许，尽量使码的最小码间距离 一些为好。 8. 两个等长符号序列之间的汉明距离，是它们之间 。 7. 使平均差错率达到最小的译码规则称为 。 ，若 ，则无论采用什么样的编码方法，其译码失真 10. 设离散无记忆平稳信源的信息率失真函数为 必大于 。 6. 变长码采用非续长码，力求使 最小，此时 最高，信源的冗余度得到最大程度的压缩。 是关于 的 函数。 13. 信息率失真函数 是 实值函数。 14.失真度（或失真函数） 15. 物理量H(X)、H(X|Y)、I(X;Y)、I(yj;xi)、I(xi|yj)、I(xi)中，只有 不具有非负的性质。 11. 在加性高斯噪声信道中传输信息， 分布的输入信号是最有效的。 12. 将一个码标在码树上，如果其所有码字均处于 节点上，则该码为非续长码。 分析连续信源熵和离散信源熵的异同点。 2. 简述唯一可译性和非奇异性的区别与联系。 3. 简述信源的信息率、信息速率、信息含量效率和信息冗余度的概念。 4. 设DMC的转移矩阵为 ，求该信道的2次扩展信道的转移矩阵。 三、设有离散无记忆信源 试对信源进行四元Huffman编码，求信源熵H(S)，平均码长和编码效率。（编码时码树各分枝概率从大到小分别编0至3码） 四、设离散无记忆信源X通过离散无记忆信道 传送信息，设信源的概率分布和信道的线图分别为， 求： 1）信源X和信道输出Y的熵； 2）信道疑义度H(X|Y)和噪声熵H(Y|X)。 3）信源X的符号a1和a2分别含有的自信息； 4）从输出符号 分别所获得的关于输入符号 的信息量； a1 a2 b1 b2 0.8 0.1 0.2 0.9 五、三个特殊的DMC的转移矩阵如下： 分别判断各信道属何种信道（无损、确定、无损确定、对称、准对称、一般），求出各信道的最佳输入分布和信道容量。（注： , , ） 若信道输入概率为 ，试确定最佳译码规则，并计算出相应的平均差错率。 六、设有DMS，其转移矩阵为 * *