heu信息论课件第4章.pptVIP

信息论 梅继丹 电话E_mail: meijidan@hrbeu.edu.cn 第四章 有噪信道编码 在理论上，Shannon第二编码定理已指出，只要当实际传信率RC（信道容量）几乎无差错的信道编、译码是存在的。 理论上的存在性并不等于实际上的可构造性，本章就是研究如何构造如何实现信道编码的理论与方法。 从原理上看，构造信道码的基本思路是根据一定的规律在待发送的信息码元中人为的加入一定的多余码元，以保证在传输中，发送码元的可靠性。 与错误概率有关的因素： 信道的统计特性 译码规则 编码方法 4.1错误概率和译码规则 4.1错误概率和译码规则 4.2两种典型的译码规则 1．最大联合概率译码规则，或最大后验概率译码规则，或最小错误概率译码规则。 2．最大似然概率译码准则 根据译码规则，进一步可写出平均错误概率公式如下： 例1：已知信道矩阵： 费诺不等式 物理意义：接收到Y后对X的平均不确定性可分为两部分， 第一部分是指接收到Y后是否产生错误的不确定性H(PE)； 第二部分表示当错误发生后，到底是哪个输入符号发送引起的错误的最大不确定性，它是(r-1)（减去一个正确的符号）个符号不确定性的最大值log(r-1)与PE的乘积。 4.3错误概率与编码方法 选择最佳译码规则只能使错误概率有限地减少，无法任意小。要想进一步减少PE，必须优选信道编码方法。 选择最佳译码规则 α1= 000 000=β1 α2 =001 001=β2 α3 =010 010=β3 α4 =011 011=β4 α5 =100 100=β5 α6 =101 101=β6 α7 =110 110=β7 α8 = 111 111=β8 此时信道矩阵为： 平均错误概率PE随信道扩展次数n的增加而减少，然而随着下降的同时信息传输率R也要减小。 n=1， M=2， PE=0.01=10-2，R=1 n=3， M=2， PE 3 10-4， R=1/3 n=5， M=2， PE 10-5， R=1/5 n=7， M=2， PE 4 10-7 n=9， M=2， PE 10-8 n=11，M=2， PE 5 10-10， R=1/11 增加发送消息符号个数M可以增大信息传输率R，然而 PE随其增加而减少。 n=3，M=8， PE=1- 3 10-2，R=２/3 n=3，M=2， PE 3 10-4，R=1/3 是否当n值和M值相同时误码率就相同呢？ 答：不是。 例2 ： 对于一个二元信道，设扩展次数n=3，输入码符号数 M=4。输入消息符号等概率分布，求解如下两种情况的PE值和R值。 分别取如下4个符合序列作为消息: 1. 000 2. 000 011 001 101 010 110 100 等概率分布是最佳准则为最大似然准则 4.4　汉明距离 1．汉明距离： 　设　　　　　，　　　　为两个长度为n的二元序列（码字），则二者间的汉明距离定义为 性质： １、非负性 ２、对称性 ３、三角不等式 ２．最小距离： 　　二元码Ｃ中任意两个码字的汉明距离最小值，称为该码的最小距离： 任意码中，最小距离与该码的错误概率有关。 编码时选择汉明距离越大越好。 译码则多采取最小距离译码的方式，尽量将接收序列译成与之距离最短的码。 码的最小码距与