代码理论章 7.pptVIP

7.1信道编码的基本概念 7.1.1基本概念 7.1.2平均错误概率 7.1.3费诺不等式 7.2 译码准则 7.2.1 最大后验概率译码准则 7.2.2 最大似然译码准则 7.3编码原则 7.3.1编码的功能 7.3.2最小汉明距离译码准则 7.3.3编码原则 7.4抗干扰信道编码定理 7.4.1抗干扰信道编码定理 7.4.2抗干扰信道编码定理的逆定理;7.1 信道编码基本概念;一个好的错误控制编码方案的目标是: (1)用可以纠正的错误个数来衡量的纠错能力; (2)快速有效地对消息进行编码; (3)快速有效地对接收到的消息进行译码; (4)单位时间内所能传输的信息比特数尽量大(即有少的冗余度)。;7.1.2 平均错误概率 为了达到信息传输的目的，人们总是根据一定的判决准则，设计一个单值函数 使每一种可能的输出符号与一个唯一的输入符号一一对应，则函数就被称为译码函数或译码规则。 若信道对输入符号集、输出符号集分别为 一共可构成种 不同的译码规则。 例如二进制对称信道，输入符号集及输出符号集均为 则可构成种 译码规则。 即 译码规则(1)：F(0)=0,F(1)=0; 译码规则(2)：F(0)=0,F(1)=1; 译码规则(3)：F(0)=1,F(1)=0； 译码规则(4)：F(0)=1,F(1)=1。;如二进制对称信道传递矩阵 采取译码规则(2)：则信道输出端出现“0”和“1”的正确译码概率分别是 在这种译码规则下，从统计的观点看，信道输出端出现四个符号 “0”(或“1”)，只能有一个“0”(或“l”)能得到正确译码。 采用译码规则(3)。信道输出端出现“0”和“1”的正确译码概率分别是 在这种译码规则下，从统计的观点看，信道输出端出现四个符号“0”(或“l”)，就有三个能得到正确译码。 可见不同的译码规则确实会引起不同的可靠程度。在一个完整的信息传输过程中，译码规则对信息传输的可靠性有重大影响。因此，有必要深入讨论译码规则与信息传输可靠性之间的关系。 ; 在译码过程中，若确定了译码规则，那么当信道输出端出现某输出符 号，则一定按规定好的译码规则译成相应的输入符号, 显然，这就是正确 译码；否则为错误译码。 信道输出端收到某符号后错误译码的概率 对于信息传输系统来说，人们的兴趣不仅仅停留在个别的输出符号 的正确或错误译码概率的表述上，更重要的是要描述在信道的输出端，每 收到一个符号的平均正确译码或平均错误译码的概率。也就是从平均的意 义上来说，在信道输出端每收到一个符号，发生正确译码或错误译码的可 能性的大小。 同样，由(7-4)式可知，在信道输出端，每收到输出Y中一个符号的平均 错误译码概率应该是(7-4)式所示后验概率在信道输出随机变量Y的概率空 间中的统计平均值，即 ;说明: (7-5)式所示的平均错误译码概率，表示在信道输出端，平均 每收到一个符号，产生错误译码可能性的大小。平均错误译码概 率越大，表示在信道输出端平均每收到一个符号产生错误译码的 可能性越大；平均错误译码概率越小，表示在信道输出端平均每 收到一个符号产生错误译码的可能性越小。 显然，产生错误译码的可能性越大，意味着信息传输的可靠 性越差；产生错误译码的可能性越小，意味着信息传输的可靠性 较好。 所以，可把平均错误译码概率当作衡量信息传输的可靠性的标准。 (7-5)式进一步指明了，平均错误译码概率，取决于信道输 出随机变量Y的概率空间、信道的后验概率分布以及人们规定好 的译码规则。 那么，对于传递概率固定的给定信道来说，当信道的输入符 号，即信源的输出符号的概率分布确定后，不同的译码规则就有 不同的平均错误译码概率。 译码规则是人们根据一定的准则予以选择的，所以选择合适 的译码规则，就可成为降低平均错误译码概率，提高信息传输有效性的一种可控制的手段。;7.1.3 费诺不等式 著名的费诺(Fano)不等式正确地描述了平均错误译码概率与信道疑义度H(X︱Y)的内在联系，即 费诺不等式并没有指定在什么样的准则下选择译码规则,所以，虽然平均错误译码概率与选择的译码规则有关，但不论采用什么准则选择译码规则，费诺不等式(7-6)都是普遍成立的。 费诺不等式(7-6)表明，收到信道输出随机变量后，对输入随机变量仍然存在的平均不确定性H(X︱Y)由二部分