5有噪信道编码及其定理.ppt

5.2 错误概率与编码方法 ? 如果在上例中，取 M ＝ 4 ， 如：取 000 011 101 110 为消息，其他的不用，按照最大似然译码规则， 可得 与 M=8 比较，错误率降低了，而 信息率也降低了。 ? 这时又存在另外一个问题， 8 个符号序列取 M=4 个消息时，有 70 种选取方法，而选取方法不同， 错误概率也不同。我们比较下面两种选取方法： ? 第一种 ： 000 011 101 110 ? 第二种 ： 000 001 010 100 2 10 2 ? ? ? E P 5.2 错误概率与编码方法 ? 第一种取法的错误概率为： ? 第二种取法的错误概率为： ? 比较可知，第一种取法较好，仔细观察发现，在 第一种取法中，如果 000 有一位出错，我们就可 以判定出错了；而在第二种方法中，如果 000 中 任何一位出错，就变成了其他的合法的码字，我 们无法判断是否出错。再仔细观察，发现第二种 方法中，码字之间太“ 像 ”了，或者说太“ 近 ” 了。 ? 这也说明， 错误概率与编码方法有很大关系 。 2 10 2 ? ? ? E P 2 10 28 . 2 ? ? ? E P 5.2 错误概率与编码方法 ? 我们再讨论一个例子，取 M ＝ 4 ， n ＝ 5 ，这个信 道输入端可有 32 种不同的二元序列，选取 4 个作 为发送消息，这时 R=2/5 , 这 4 个码字按如下规则 选取： ? 设输入序列为 ( 码字选取 ) ： ? 满足方程： ? 若译码仍然采取最大似然准则： 1 2 3 4 5 ( ) i i i i i i a a a a a a ? 3 1 2 4 1 5 1 2 i i i i i i i i a a a a a a a a ? ? ? ? ? ? ? ? ? ? 5.2 错误概率与编码方法 ? 正确译码概率为： ? 错误概率为： 00000 00001 00010 00100 00000 01000 10000 10001 00011 ? ? ? ? ? ? ? ? ? ? ? ? ? 01101 01100 01111 01001 01101 00101 11101 11100 01110 ? ? ? ? ? ? ? ? ? ? ? ? ? 10111 10110 10101 10011 10111 11111 00111 00110 10100 ? ? ? ? ? ? ? ? ? ? ? ? ? 11010 11011 11000 11110 11010 10010 01010 01011 11001 ? ? ? ? ? ? ? ? ? ? ? ? ? 2 3 4 5 2 5 p p p p p P E ? ? ? 5 4 3 2 4 1 1 ( 5 2 ) 7.8 10 E E P P p p p p p ? ? ? ? ? ? ? ? ? 5.2 错误概率与编码方法 ? 结论：这种编码方法与 M=4,n=3 的两种编码 方法相比，虽然信息传输率降低了一点， 但错误概率减少很多。此码与 M=2,n=3 的重 复码比较，错误概率在一个数量级，但传 输率比 n=3 的重复码提高了。因此采用增大 n ，并适当增大 M 和选择合适的编码方法， 既能使 P E 降低，又能使信息传输率不减少。 5.2 错误概率与编码方法 ? 为什么会产生如此不同呢？ ? 我们引入一个新概念： 汉明距离 。 ? 长度为 n 的两个符号序列 ( 码字 ) α i 和 β j 之间的距 离是指 α i 和 β j 之间对应位置上不同码元的个数， 用符号 D(α i ， β j ) 表示。这种码字距离通常称为 汉 明距离 。 ? 在二元码中： ? 如： ? 则： 1 ( , ) k k n i j i j k D ? ? ? ? ? ? ? ? 101111 i ? ? 111100 j ? ? ( , ) 3 i j D ? ? ? 5.2 错误概率与编码方法 ? 在某一码 C 中，任意两个不同码字的汉明距离的 最小值称为该 码 C 的最小距离 。 ? 在任一码 C 中，码的 最小距离 与该码的 译码错 误概率 有关。 ? 下面我们来讨论前边的 5 种码的汉明距离。 ? 分别求得它们的 列入下表中： min min{ ( , )} i j i j d D C C C C ? ? m in d m in d 码 A 码 B 码 C 码 D 码 E 码 字 000 111 000 011 101 110 000 001 010 100 00000 01101 10111 11010 000 001 010 011 100 101 100 111 消息数