信息论第6讲北理工.ppt

我们引进这样一个概念：汉明距离。 在二元码中： 如： 则 在某一码书中，任意两个码字的汉明距离的最小值称为该码C的最小距离。 码A 码B 码C 码D 码字 000 111 000 011 101 110 000 001 010 100 000 001 010 011 100 101 100 111 消息数M 2 4 4 8 最小距离 dmin 3 2 1 1 信息传输率R 1/3 2/3 2/3 1 错误概率 我们来讨论前边的5种码的距离： 很明显， 越大，PE 越小，在M相同的情况下也是一样 最小距离译码准则 设信道输入端作为消息的码字为αi，长度为n；输出端可能有的所有接收序列为βj，长度为n。 最大似然译码准则可表述为： 若αi和βj之间的距离为d(αi, βj)，简记为dij，它表示传输过程中αi传输到βj有dij个位置发生了错误，(n- dij)个位置没有错误。设二元对称信道的单个符号传输错误概率为p，当信道是无记忆时，则编码后信道的传递概率为 如果p＜1/2(这是正常情况，例如 p=10-2 )， 可以看出dij越大，P(βj/αi)越小, dij越小，P(βj/αi) 越大。 根据前式，最大似然译码准则可用汉明距离表示为 选择译码函数 使满足 即满足 上式又称为最小距离译码准则。 在二元对称信道中最小距离译码准则等于最大似然译码准则。在任意信道中也可采用最小距离译码准则，但它不一定等于最大似然译码准则。 因此，在二元信道中最大似然译码准则可表述为：当收到βj后，译成与之距离(汉明距离)为最近的输入码字α*，可使平均错误概率PE达到最小。同时在M和n不变的情况下，即保持一定信息传输率R的前提下，选择不同的编码方法，可取得不同的Dij=D(αi,βj)和D*j=D(α*,βj)，而使PE不同。 因此，我们可以选择这样的编码方法：对选择的每一个码字α*都与某一特定接收序列βj的距离尽可能近，D（α*,βj）尽量小；又使其他码字αi≠α*与这接收序列βj 的距离尽可能地远，D(αi,βj)尽量大。换句话说，应尽量设法使选取的M个码字中任意两两不同码字的距离D(αi,βj)尽量大。这样就可做到保持一定信息传输率R，而使PE尽可能的小。 综上所述，在有噪信道中，传输的平均错误概率PE与各种编、译码方法有关。编码可采用选择M个消息所对应的码字间最小距离dmin尽可能增大的编码方法，而译码采用将接收序列βj译成与之距离最近的那个码字α*的译码规则，则只要码长n足够长时，合适地选择M个消息所对应的码字，就可以使错误概率很小，而信息传输率保持一定。 第三节 有噪信道编码定理（香农第二定理） 1、有噪信道编码定理 如一个离散无记忆信道，信道容量为C。当信息传输率R≤C时，只要码长足够长，总可以在输入 符号集中找到M 个码字组成的一组码 和相应的译码准则，使译码的平均错误概率达到任意小。 有噪信道编码定理证明方法中的基本思路 允许平均错误概率任意小而非零， 连续使用信道许多次，即在n次无记忆信道中讨论，以便使大数定律有效. 随机选取码书，在随机选取编码的基础上计算码的平均错误概率；因为随机选取，所以使概率对称；并由此证明至少有一种好码存在。 我们也采用与上述相同的基本思路，但主要的区别在于译码规则。我们在编码时，随机地选择输入端ε典型序列x作为码字，因为它们是在输入端Xn集中经常、高概率出现的序列。而在接收端Yn集中，对接收序列y寻找与它构成联合典型序列的那个码字。若只有惟一一个码字满足此性质，则判定这码字为所发送的码字。根据上节所述的联合典型序列的性质，所发送的码字与接收序列y构成联合典型序列的概率很高，它们之间是高概率密切相关的。 2、有噪信道编码逆定理 如一个离散无记忆信道，信道容量为C。当信息传输率RC时，则无论码长n多长，总找不到一种编码 使信道输出端的平均错误译码概率达到任意小。 这个定理是信道编码的理论依据，可以看出：信道容量是一个明确的分界点，当取分界点以下的信息传输率时，PE以指数趋进于0；当取分界点以上的信息传输率时，PE 以指数趋进于1；因此在任何信道中，信道容量都是可达的、最大的可靠信息传输率。 这个定理是一个存在定理，它没有给出一个具体可构造的编码方法，在它的证明过程中，码书是随机的选取的，当n很大时，这码书构成的码表就非常庞大，也就无法实用和实现。尽管如此，信道编码定理仍然具有根本性的重要意义。它有助于指导各种通信系统的设计，有助于评价各种系统及编码的效率。 第四节