信息论与编码-第6章有噪信道编码.pptVIP

最大似然译码准则 一般已知信道传递概率p(bj|ai)与输入符号先验概率p(ai), 所以根据贝叶斯定律, 上式也可以写成 这样最大后验概率准则就表示为: 选择译码函数F(bj)=a*, 使满足p(bj|a*)p(a*)≥p(bj|ai)p(ai), 也即p(a*bj)≥p(aibj). 最大似然译码准则 如果输入符号等概发生, 则选择译码函数F(bj)=a*,并满足 p(bj|a*)≥p(bj|ai) 该译码规则称为: 最大似然译码准则. 该准则表示收到bj后, 在信道矩阵的第j列, 选择最大的值对应输入符号a*作为译码输出. 费诺不等式 平均错误概率PE与译码规则(译码函数)有关. 而译码规则又由信道特性来决定. 由于信道中存在噪声, 导致输出端发生错误, 并使接收到输出符号后, 对发送的是什么符号还存在不确定性. 可见, PE与信道疑义度H(X|Y)有一定关系的. 平均错误概率PE与信道疑义度H(X|Y)的关系: H(X|Y)≤H(PE)+PElog(r-1) 该不等式是费诺第一个证明的, 又称费诺不等式. 费诺不等式 费诺不等式:H(X|Y)≤H(PE)+PElog(r-1) 费诺不等式说明: 接收到Y后关于X的平均不确定H(X|Y)可分为两部分, 1、接收到Y后是否产生PE错误的平均不确定性H(PE). 2、表示当错误PE发生后, 到底是哪个输入符号发送而造成错误的最大不确定性, 为PElog(r-1). 根据最大似然译码准则(假设输入时等概率的), 可得简单重复编码的译码规则为 F(β1)= F(β2)= F(β3)= F(β5)=α1 F(β4)= F(β6)= F(β7)= F(β8)=α8 根据这个规则计算得译码后的错误概率为 简单重复编码 与原来PE=10-2比较, 这种简单重复的编码方法已把译码错误概率降低了近两个数量级. 原因: 这种编码可以纠正码字中的一位码元出错, 译错的可能性变小了, 因此错误概率降低. 简单重复编码 若重复更多次可进一步降低错误率. 可算得 可见, 当n很大时, 使PE很小是可能的. 但这又带来了一个新问题, n很大时, 信息传输率会降低很多. 香农第二定理 这显然是一个矛盾, 有没有解决的办法, 能不能找到一种更好的编码方法, 使PE相当低, 而R却保持在一定水平呢？这就是香农第二定理, 即有噪信道编码定理. 在上图中, 也给出了香农第二定理的PE和R的关系值, 其中ε为任意小的数. 重复编码选取扩展信源的个数M 先简单分析简单重复编码使信息率降低的原因？ 前例只用了扩展信源的两个字符, 降低了信息率. 如果取M＝4, 即 0 0 0 0 1 1 1 0 1 1 1 0 为消息, 其他的不用, 则按照最大似然译码规则, 可计算出错误概率为 这种编码方法(n=5, M=4)与前述n=3, M=4的两种编码相比, 虽然信息传输率略低了一些, 但错误率减少很多. 再与n=3, M=2的重复码比较, 它们错误概率接近同一数量级, 但其信息传输率却比n=3, M=2重复码的大. 因此, 采用增大n, 并适当增大M和合适的编码方法, 即能使PE降低, 又能使信息传输率不减少. 很明显, dmin越大, PE越小, 在M相同的情况下也是一样. 概括地讲, 码组中最小距离越大, 受干扰后, 越不容易把一个码字错译为另一码字, 因而错误概率小. 若码的最小距离小, 受干扰后很容易把一码字变成另一码字, 因而错误概率大. 因此, 编码规则的选择: 使码字间的距离越大越好. 现在用汉明距离表述最大似然规则. 最大似然译码准则为: 选择译码函数 F(βj)=α* 使满足 p(βj|α*)≥p(βj|αi) D(αi,βj): αi和βj之间的距离, 简记Dij, 它表示传输中有Dij个位置发生了错误, n-Dij个位置没有发生错误. 若信道是无记忆时, 编码后信道的传递概率为 可以看出: Dij越大, p(βj|αi)越小(条件: p0.5). 汉明距离编码方法 因此, 需要选择这样的编码方法: 对每一码字α*都与某一接收序列βj的距离尽可能近, 码距D(α*,βj)尽量小; 又使其他码字αi≠α*,与接收序列βj的距离尽量远, 码距尽量大. 总结 在有噪信道中, 传输的平均错误概率PE和各种编、译码方法有关; 编码方法采用使码的最小距离dmin尽可能大; 译码准则采用将接收序列βj译成