(信息论)第6章有噪信道编码.pptVIP

* 第 6 章 有噪信道编码 6.1 噪声信道的编码问题 信 道 译码器 编码器 信源编码器 信源译码器 M X Y 编码信道 M + 多余码元 码序列 C (码序列中的信息序列的码元与多余码元之间具有相关性) 译码端 根据编码规则中的相关性检测和纠正传输过程中的差错 6.1.1 错误概率和译码规则 0 1 X Y 0 1 二元对称信道 错误概率不仅与信道的统计特征有关，而且也与译码规则有关。 如上例 6.1.2 译码规则 定义 6.1.1 设信道输入符号集为 ，输出符号集为 ，若对每一个输出符号 都有一个确定的函数 ，使 对应唯一的一个输入符号 ，则称这样的函数为译码规则，记为 显然，对于有 r 个输入、s 个输出的信道而言，按上述定义得到的译码规则共有 种。 (6.1) 1、错误概率 在译码规则 的情况下，得出条件正确概率和条件错误概率分别为 因为译码过程有统计平均作用，经过译码后的平均错误概率 为 上式的含义是经过译码后，平均接收到一个符号所产生错误的大小。 (6.2) (6.3) 2、译码规则 选择译码规则总的原则应是使平均错误概率 最小。 由于错误概率 为非负项之和，欲使 最小，那么应使每一项为最小，又由于式(6.3)中 与译码规则无关，故欲使 最小，从式(6.2)看出，亦即为使 为最大，于是引出最大后验概率准则。 定义 6.1.2 选择译码函数 ，使之满足条件 则称为最大后验概率译码规则(理想观测者规则)。该规则的意义是选择这样一种译码函数，对于每一个输出符号 均译成具有最大后验概率的那个输入符号 ，则信道译码错误概率会最小。一般说来，后验概率是难以实现的，所以应用起来并不方便。 (6.4) 定义 6.1.3 选择译码函数 ，使之满足条件 则称为极大似然译码规则。 当输入符号为等概分布时 则式(6.5)可改写成 当信道输入符号为等概分布时，应用极大似然译码规则是很方便的，式(6.7)中的条件概率为信道矩阵中的元素。从最大后验概率译码规则可以导出极大似然译码规则。 (6.7) (6.6) (6.5) 3、平均错误概率 平均错误概率的 推导过程： (6.8) 平均正确概率为 若用条件概率表示，式(6.8)又可表示为 若输入为等概分布，则 式(6.11)意味着，在输入为等概分布的条件下，译码错误概率 可用信源矩阵中的元素来表示。这种求和是除去信道矩阵中每列中对应于 的那一项后，求矩阵中其余元素之和。 (6.9) (6.10) (6.11) 例： 已知信道矩阵 设计如下两种译码规则： 当输入为等概分布时，译码规则 A 就是极大似然译码规则。两种译码规则所对应的平均错误概率分别为 引理 6.1.1 错误概率 与信道疑义度 满足以下关系 该不等式称为费诺不等式。 (6.12) 上式的意义是：当作了一次译码判决后所保留的关于信源的不确定性可以分成两部分：第一部分是接收到Y 后，判决是否发生错误的不确定性 ；第二部分是当判决是错误的，其错误概率为 ，确定由 r-1 个输入符号中哪一个引起错误的不确定性，它是 (r-1) 个符号不确定性的最大值 与 的乘积。 Fano 不等式的几何意义 6.2 错误概率与编码方法 6.2.1 简单重复编码 二元对称信道 信道矩阵为 选择最佳译码规则为 在输入分布为等概分布的条件下，总的平均错