信息论 - 复习.pptVIP

有一个离散信源X如下 （1）用霍夫曼码编成二元变长唯一可译码。 （2）用香农-费诺-埃利斯码编成二元变长唯一可译码（选取 是大于或等于 的整数)。 （3）用费诺码编成二元变长唯一可译码。 例题 (1) 信源X的二元霍夫曼编码为10，11，000，001，010，0110，0111 (2) 信源X的香农编码为000，010，011，101，110，1111，1111111 (3) 信源X的费诺编码为00，010，011，10，110，1110，1111 第五章 有噪信道编码 最小错误概率准则 最小平均错误概率的计算 有噪信道编码定理（香农第二定理） 汉明距离 1.什么是最小错误概率准则?什么是最大似然译码准则? 为使译码的平均错误概率最小,就应当选择 ，这被称为最小错误概率准则。 如果输入符号是等概率分布，最小错误概率准则就被称为最大似然译码准则 ，使 2. 如何计算最小平均错误概率？ 平均错误概率就可以写成 最小错误概率可以用传递概率来计算 例题 当输入符号等概率分布时，计算下面信道的最小平均错误概率 如果输入概率分布为 计算平均错误概率 等概率分布时，根据最大似然译码准则选择译码函数 平均错误概率为 如果输入概率分布为 平均错误概率 信道联合概率矩阵为 根据最小错误概率译码准则 有噪信道编码定理（香农第二定理） 设离散无记忆信道[X,P(y|x),Y], P(y|x) 为信道传递概率，其信道容量为C。当信息传输率RC时，只要码长n足够长，总可以在输入Xn符号集中找到M(=2nR)个码字组成的一组码(2nR,n) 和相应的译码规则，使译码的错误概率任意小 (PE 0)。 两个码字 与 之间对应位置上不同码元的个数就称为汉明距离，表示为 什么是汉明距离？如何表示？ 例如： * 两个电话的内容是一样的，同样的消息或情报 * 画出各信道的图。 * 给出矩阵的例子。 * 非奇异码于唯一可译码的区别 * 举例引出码长、码元数满足的条件。 * 十进制整数转换为二进制整数：除二取余，直到商为零为止，倒排 十进制小数转换为二进制小数：乘二取整，直到小数部分为零或给定的精度为止，顺排 解方程组，可得 信源的熵 （比特/符号） 11. 什么是信源的熵的相对率？什么是信源剩余度？ 熵的相对率：信源实际的信息熵与具有同样符号集的最大熵的比值 信源剩余度：1减去熵的相对率 有一离散无记忆信源 例题 求此信源的熵的相对率与信源剩余度。 信源的熵为 (比特/符号） 信源的熵的最大值为 (比特/符号） 熵的相对率= 信源剩余度= 第三章 离散信道及其信道容量 互信息 信道容量及其计算 信道剩余度 1. 信道传递矩阵的一般形式 2. 有关信道的几个常用的概率关系 信道疑义度：在收到输出变量的符号后，对于输入端变量尚存在的平均不确定性。它也表示信源符号通过有噪信道传输后引起的信息量的损失，也可称为损失熵。 3. 什么是信道疑义度？其计算公式是什么？ 平均互信息：收到输出符号后平均每个符号获得的关于输入变量的信息量 对于单个事件 4. 什么是平均互信息？其计算公式是什么？ 5. 用维拉图表示信道各类熵之间的关系 设信源 通过一干扰信道，接收符号为 信道传递概率如图所示，求 1）收到消息 后，获得的关于 的信息量。 2）收到信息 后获得的平均互信息。 例题 1) 单个符号的互信息 所以可得 则 比特 比特 比特 比特 信源 的信息熵 比特/符号 信道疑义度 而 2）平均互信息 可得 比特/符号 收到信息 后获得的平均互信息 比特/符号 1 平均互信息的非负性 2 平均互信息的极值性 3 平均互信息的交互性（对称性） 4 平均互信息的凸状性 a.平均互信息是输入信源的概率分布的 型凸函数 b.平均互信息是信道传递概率分布的 型凸函数 6. 平均互信息的几个特性 信道容量就是信道的最大信息传输率 物理意义： 信道传输的最大信息量，只与信道的统计特性有关。 对应的输入概率分布称为最佳输入分布。 7. 什么是信道容量？并给出其计算公式及物理意义。 对于无噪无损信道 互信息 信道容量 对于有噪无损信道 信道容量 对于无噪有损信道 信道容量 互信息 互信息 8.如何计算离散无噪无损信道、有噪无损信道、无噪有损信道的的信道容量？ 对称离散信道：信道矩阵中每一行都是由同一 集的诸元素的不同排列组成，并且每一列也都是由 集的诸元素不同排列组成，即信道矩阵中每一行是另一行的置换，以及