编码理论第7讲.pptVIP

7.1信道编码的基本概念 7.1.1基本概念 7.1.2平均错误概率 7.1.3费诺不等式 7.2 译码准则 7.2.1 最大后验概率译码准则 7.2.2 最大似然译码准则 7.3编码原则 7.3.1编码的功能 7.3.2最小汉明距离译码准则 7.3.3编码原则 7.4抗干扰信道编码定理 7.4.1抗干扰信道编码定理 7.4.2抗干扰信道编码定理的逆定理 7.1 信道编码基本概念 7.1.1 基本概念 无失真信源编码是在无噪信道的背景下，用无噪信道的输入符号集当作码符号集，对信源符号或符号序列编出的惟一可译码，使信源符号适合信道的传输，以保证在无噪信道中无失真地传输信源发生的消息。同时还要求编码是有效的，使每一信源符号所需的平均码符号数尽量的小。无噪信道问题，实质上是信源本身的问题。无失真信源编码，实际上只是用无噪信道的输入符号集作为码符号集，对信源符号的形式作一一对应的变换，并且充分而合理地利用和挖掘信源本身的统计特性，以期得到尽可能短的平均码长。无失真信源编码实质上是信源领域自身的问题。 信道编码的任务就是构造出以最小多余度代价换取最大抗干扰性能的“好码”。 一个好的错误控制编码方案的目标是: (1)用可以纠正的错误个数来衡量的纠错能力; (2)快速有效地对消息进行编码; (3)快速有效地对接收到的消息进行译码; (4)单位时间内所能传输的信息比特数尽量大(即有少的冗余度)。 7.1.2 平均错误概率 为了达到信息传输的目的，人们总是根据一定的判决准则，设计一个单值函数 使每一种可能的输出符号与一个唯一的输入符号一一对应，则函数就被称为译码函数或译码规则。 若信道对输入符号集、输出符号集分别为 一共可构成种 不同的译码规则。 例如二进制对称信道，输入符号集及输出符号集均为 则可构成种 译码规则。 即 译码规则(1)：F(0)=0,F(1)=0; 译码规则(2)：F(0)=0,F(1)=1; 译码规则(3)：F(0)=1,F(1)=0； 译码规则(4)：F(0)=1,F(1)=1。 如二进制对称信道传递矩阵 采取译码规则(2)：则信道输出端出现“0”和“1”的正确译码概率分别是 在这种译码规则下，从统计的观点看，信道输出端出现四个符号 “0”(或“1”)，只能有一个“0”(或“l”)能得到正确译码。 采用译码规则(3)。信道输出端出现“0”和“1”的正确译码概率分别是 在这种译码规则下，从统计的观点看，信道输出端出现四个符号“0”(或“l”)，就有三个能得到正确译码。 可见不同的译码规则确实会引起不同的可靠程度。在一个完整的信息传输过程中，译码规则对信息传输的可靠性有重大影响。因此，有必要深入讨论译码规则与信息传输可靠性之间的关系。 在译码过程中，若确定了译码规则，那么当信道输出端出现某输出符 号，则一定按规定好的译码规则译成相应的输入符号, 显然，这就是正确 译码；否则为错误译码。 信道输出端收到某符号后错误译码的概率 对于信息传输系统来说，人们的兴趣不仅仅停留在个别的输出符号 的正确或错误译码概率的表述上，更重要的是要描述在信道的输出端，每 收到一个符号的平均正确译码或平均错误译码的概率。也就是从平均的意 义上来说，在信道输出端每收到一个符号，发生正确译码或错误译码的可 能性的大小。 同样，由(7-4)式可知，在信道输出端，每收到输出Y中一个符号的平均 错误译码概率应该是(7-4)式所示后验概率在信道输出随机变量Y的概率空 间中的统计平均值，即 说明: (7-5)式所示的平均错误译码概率，表示在信道输出端，平均 每收到一个符号，产生错误译码可能性的大小。平均错误译码概 率越大，表示在信道输出端平均每收到一个符号产生错误译码的 可能性越大；平均错误译码概率越小，表示在信道输出端平均每 收到一个符号产生错误译码的可能性越小。 显然，产生错误译码的可能性越大，意味着信息传输的可靠 性越差；产生错误译码的可能性越小，意味着信息传输的可靠性 较好。 所以，可把平均错误译码概率当作衡量信息传输的可靠性的标准。 (7-5)式进一步指明了，平均错误译码概率，取决于信道输 出随机变量Y的概率空间、信道的后验概率分布以及人们规定好 的译码规则。 那么，对于传递概率固定的给定信道来说，当信道的输入符 号，即信源的输出符号的概