第6章：信道编码(已修改).pptVIP

错误概率与译码规则 下面的问题就是如何选择 ，经过前边的讨论可以看出，为使 最小，就应选择 为最大，即选择译码函数 并使之满足条件： 也就是说，收到一个符号以后译成具有最大后验概率的那个输入符号。这种译码准则称为“最大后验概率准则”或“最小错误概率准则”。 根据贝叶斯定律，上式也可以写成 错误概率与译码规则 即： 当信源等概分布时，上式为： 这称为最大似然译码准则，方法是收到一个 后，在信道矩阵的第j列，选择最大的值所对应的输入符号作为译码输出。 错误概率与译码规则 也可写成： 上式也可写成对行求和： 如果先验概率相等，则： 错误概率与译码规则 例： 根据最大似然准则可选择译码函数为B： 错误概率与译码规则 若采用前边讲到的译码函数A，则平均错误率为： 若输入不等概分布，其概率分布为： 错误概率与编码方法 一般信道传输时都会产生错误，而选择译码准则并不会消除错误，那么如何减少错误概率呢？下边讨论通过编码方法来降低错误概率。 0 1 0 1 0.99 0.99 0.01 0.01 例：对于如下二元对称信道 错误概率与编码方法 如何提高信道传输的正确率呢？可以尝试用下面的方法 没有使用的码字 001 010 011 100 101 110 用作消息的码字 000 111 输出端接收序列 000 001 010 011 100 101 110 111 二元对称信道的三次扩展信道 错误概率与编码方法 则： 根据最大似然译码准则，可得译码函数为： F(000)=000 F(001)=000 F(010)=000 F(011)=111 F(100)=000 F(101)=111 F(110)=111 F(111)=111 此时，译码可以采用“择多译码”，即根据接收序列中0多还是1多，0多就判作0，1多就判作1。错误概率降低了两个数量级，这种编码可以纠正码字中的一位码元出错。若重复多次可进一步降低错误率 错误概率与编码方法 但是又出现了一个新的问题，n很大时，信息传输率会降低很多， 在上例中：M=2 当n=1时 R=1 当n=3时 R=1/3 当n=5时 R=1/5 ...... 错误概率与编码方法 这显然是一个矛盾，有没有解决的办法呢？香农第二定理可以解决这一问题。 我们分析前边的例子，我们只用了扩展信源的两个字符，因此信息率降低了，如果我们把8个字符全用上，信息传输率就会回到1，但是此时错误率为 比单符号时还大三倍。我们可以总结如下：在二元信道的n次扩展信道中，选取其中的M个作为消息，则M大一些， 跟着大，R也大，M小一些， 跟着小，R也小。 如果在上例中，取M＝4，如：取000 011 101 110为消息，其他的不用，则 则与M=8比较，错误率降低了，而信息率也降低了。 错误概率与编码方法 还存在另外一个问题，M=4时，有70种选取方法，而选取方法不同，错误率也不同。我们比较下面两种选取方法：第一种： 000 011 101 110 第二种： 000 001 010 100 可以计算得第一种方法的错误率为 第二种方法的错误率为 比较可知，第一种方法好，仔细观察发现，在第一种方法中，如果000有一位出错，我们就可以判定出错了；而在第二种方法中，如果000中任何一位出错，就变成了其他的合法的码字，我们无法判断是否出错。再仔细观察，发现第二种方法中，码字之间太“象”了，或者说太“近”了。 错误概率与编码方法 我们再讨论一个例子，取M＝4，n＝5，这4个码字按如下规则选取： 设输入序列为: 满足方程： 若译码采取最大似然准则： 错误概率与编码方法 此码能纠正所有码字中一位码元错误，也能纠正其中两个两位码元的错误。 错误概率与编码方法 我们引进这样一个概念：汉明距离。 在二元码中： 如： 则 在某一码书中，任意两个码字的汉明距离的最小值称为该码C的最小距离。 我们来讨论前边的5种码的距离： 码A 码B 码C 码D 码字 000 111 000 011 101 110 000 001 010 100 000 001 010 011 100 101 100