第6章 有噪信道编码(ok).pptVIP

第6章 有噪信道编码定理 6.1 错误概率与译码规则 6.2 错误概率与编码方法 6.3 有噪信道编码定理 6.4 联合信源信道编码定理 6.5 纠错编码的基本思想 6.6 常用编码方法 前一章已经从理论上讨论了，对于无噪无损信道只要对信源进行适当的编码，总能以信道容量无差错的传递信息。但是一般信道总会存在噪声和干扰，那么在有噪信道中进行无错传输可以达到的最大信息传输率是多少呢？这就是本章所要讨论的问题。本章的核心是香农第二定理。 第6章 有噪信道编码 6.1 错误概率与译码规则 为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，能控制到什么程度。 前边已经讨论过，错误概率与信道的统计特性有关，但并不是唯一相关的因素，译码方法的选择也会影响错误率。 例：有一个BSC信道，如图所示 0 1 0 1 1/3 1/3 2/3 2/3 若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为： 反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误概率为1/3，可见错误概率与译码准则有关。 6.1 错误概率与译码规则 例： 输入符号集 输出符号集 译码规则 6.1 错误概率与译码规则 可以设计译码准则：A： 和B： 译码规则的选择应该有一个依据，一个自然的依据就是使平均错误概率最小. 若译码规则为: 6.1.1几个基本概念: 1)译码的条件正确概率：收到 的情况下，译码的条件正确概率为： 6.1 错误概率与译码规则 2)条件错误译码的概率:为收到 后，推测发出除了 之外其它符号的概率： 3)平均错误译码概率为： 它表示经过译码后平均每收到一个符号所产生错误的大小，也称平均错误概率。 由前面分析知,为了使平均错误概率最小,应该使 为最大,即选择译码函数 并使之满足条件： 也就是说，收到一个符号以后译成具有最大后验概率的那个输入符号。这种译码准则称为“最大后验概率准则”或“最小错误概率准则”。 6.1 错误概率与译码规则 6.1.2最小错误概率译码准则: 选择 使满足: 6.1 错误概率与译码规则 6.1.3 最大似然译码准则: 这样定义的译码规则称为最大似然译码准则. 由以上准则可写出平均错误概率： 也可写成： 上式也可写成对行求和： 如果先验概率相等，则： 6.1 错误概率与译码规则 例： 设先验概率相等，根据最大似然准则可选择译码函数为B： 6.1 错误概率与译码规则 若采用前边讲到的译码函数A， 则平均错误率为： 6.1 错误概率与译码规则 若采用最小错误概率译码准则，则联合矩阵为： 所得译码函数为：C： 平均错误率为： 6.1 错误概率与译码规则 码字 与输出序列 之间对应位置上不同码元的个数称为汉明距离，记为： 1、汉明距离及最小码距： 码字 与输出序列 之间对应位置上不同码元的个数称为汉明距离，记为： 6.2 错误概率与编码方法 如： 在一码书C中，任意两个码字的汉明距离的最小值称为该码C的最小距离，简称最小码距，记为： 一个码C的纠检错能力与最小码距有关。 选择译码函数 使满足: 2、 最小距离译码准则: 即: 6.2 错误概率与编码方法 6.3 有噪信道编码定理（香农第二定理） 1、有噪信道编码定理 如一个离散无记忆信道，信道容量为C。当信息传输率R≤C时，只要码长足够长，总可以在输入符号集中 找到M 个码字组成的一组码 和相应的译码准则，使信道输出端的平均错误译码概率达到任意小。 2、有噪信道编码逆定理 如一个离散无记忆信道，信道容量为C。当信息传输率RC时，则无论码长n多长，总找不到一种编码 使信道输出端的平均错误译码概率达到任意小。 这个定理是信道编码的理论依据，可以看出：信道容量是一个明确的分界点，当取分界点以下的信息传输率时， 以指数趋近于0；当取分界点以下的信息传输率时， 以指数趋近于1；因此在任何信道中，信道容量都是可达的、最大的可靠信息传输率。 这个定理是一个存在定理，它没有给出一个具体可构造的编码方法，在它的证明过程中，码书是随机的选取的，它有助于指导各种通信系统的设计，有助于评价各种系统及编码的效率。 6.3 有噪信道编码定理（香农第二定理） 6.4 联合信源信道编码定理 从香农第一、第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信