.信息论与编码课件(第五章).pptVIP

电气信息工程学院 * 电气信息工程学院 * 电气信息工程学院 * 电气信息工程学院 * 5.2 错误概率与编码方法 我们再讨论一个例子，取M＝4，n＝5，这个信道输入端可有32种不同的二元序列，选取4个作为发送消息，这时R=2/5,这4个码字按如下规则选取： 设输入序列为： 满足方程： 若译码仍然采取最大似然准则： 电气信息工程学院 * 5.2 错误概率与编码方法 正确译码概率为： 错误概率为： 电气信息工程学院 * 5.2 错误概率与编码方法 结论：这种编码方法与M=4,n=3的两种编码方法相比，虽然信息传输率降低了一点，但错误概率减少很多。此码与M=2,n=3的重复码比较，错误概率在一个数量级，但传输率比n=3的重复码提高了。因此采用增大n，并适当增大M和选择合适的编码方法，即能使PE降低，又能使信息传输率不减少。 电气信息工程学院 * 5.2 错误概率与编码方法 为什么会产生如此不同呢？ 我们引入一个新概念：汉明距离。 长度为 n 的两个符号序列(码字)ai和bj之间的距离是指ai和bj 之间对应位置上不同码元的个数，用符号D(ai，bj)表示。这种码字距离通常称为汉明距离。 在二元码中： 如： 则： 电气信息工程学院 * 5.2 错误概率与编码方法 在某一码书中，任意两个码字的汉明距离的最小值称为该码C的最小距离。 在任一码书中，码的最小距离 与该码的译码错误概率有关。 下面我们来讨论前边的5种码的汉明距离。 分别求得它们的 列入下表中： 电气信息工程学院 * 电气信息工程学院 码A 码B 码C 码D 码E 码 字 000 111 000 011 101 110 000 001 010 100 00000 01101 10111 11010 000 001 010 011 100 101 100 111 消息数M 2 4 4 4 8 最小距离 dmin 3 2 1 3 1 信息传输率R 1/3 2/3 2/3 2/5 1 错误概率 * 5.2 错误概率与编码方法 很明显， 越大， 越小，在M相同的情况下也是一样。 码书中最小距离越大，受干扰后，越不容易把一个码字错成为另一码字，因而错误概率小。若码书的最小距离小，受干扰后很容易把一码字变成另一码字，因而错误概率大。 结论：在编码选码字时，要使码字之间的距离越大越好。 电气信息工程学院 * 5.2 错误概率与编码方法 按照最大似然译码准则，有 若ai和bj 之间的距离为 记为Dij，它表示传输过程中ai 传输到bj ，有Dij 个位置发生了错误，(n-Dij)个位置没有错误。 通常p＜1/2，Dij越大?P(?j/?i)越小，Dij越小?P(?j/?i)越大 将最大似然译码准则与汉明距离连系起来了 电气信息工程学院 * 5.2 错误概率与编码方法 最大似然译码准则可用汉明距离表示为 选择译码函数 使之满足 即满足 它称为最小距离译码准则。在二元对称信道中它等价与最大似然译码准则，也就是收到一个码字后，把它译成与它最近的输入码字，这样可以使平均错误概率最小。 电气信息工程学院 * 5.2 错误概率与编码方法 在二元对称无记忆信道中，平均错误概率也可用汉明距离来表示。 其中D*j =D(?*,?j) 因此，在二元信道中最大似然译码准则可表述为 电气信息工程学院 * 5.2 错误概率与编码方法 当收到?j后，把?j译成与它距离最邻近的那个发送码字?*，可使平均错误概率PE达到最小。 同时上述两式也告诉我们，在M和n不变的情况下，（即保持一定信息传输率R的前提下），选择不同的编码方法，可取得不同的Dij=D(?i，?j)和D*j=D(?*，?j)，而使PE不同。 电气信息工程学院 * 5.2 错误概率与编码方法 结论：在有噪信道中，传输的平均错误概率PE与各种编、译码方法有关。 编码：选用M个消息所对应的码字间最小距dmin尽可能大的编码方法； 译码：采用将接收序列bj译成与之距离最近的那个码字a*的译码规则； 则只要码长n足够长时，合适地选择M个消息所对应的码字，就可以使错误概率很小，而信息传输率保持一定。 电气信息工程学院 * 5.4有噪信道编码定理（香农第二定理） 1、有噪信道编码定理 如一个离散无记忆信道，信道容量为C。当信息传输率R≤C时，只要码长足够长，总可以在输入符号集 中找到M 个码字组成的一组码 和相应的译码准则，使信道输出端的平均错误译码概率达到任意小。 电气信息工程学院 * 5.4有噪信道编码定理（香农第二定理） 2