第6章 有噪信编码定理12.doc

幻灯片1 第6章 有噪信道编码定理 幻灯片2 在无噪无损信道上，只要对信源的输出进行适当的编码，总能以最大信息传输率C（信道容量）无差错地传输信息。但一般信道中总存在噪声或干扰，信息传输会造成损失，那么在有噪信道中怎么能使消息通过传输后发生的错误最少？在有噪信道中无错误传输的可达的最大信息传输率是什么？ 这就是本章所要研究的内容，即研究通信的可靠性问题。这时香农在1948年的文章中提出并证明了的信道编码定理，也称香农第二定理。 幻灯片3 6.1 错误概率和译码规则 在有噪信道中传输消息时会发生错误的。为了减少错误，提高可靠性，首先就要分析错误概率与哪些因素有关，有没有办法加以控制，能控制到什么程度等问题。 错误概率与信道统计特性有关。信道的统计特性可由信道的传递矩阵来描述。当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。 但通信过程一般并不是在信道输出端就结束了，还要经过译码过程（或判决过程）才到达消息的终端（收信者）。因此译码过程和译码规则对系统的错误概率影响很大。 幻灯片4 错误概率既与信道的统计特性有关，也与译码的规则有关。 定义译码规则：设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B= {bj}， j=1,2,…,s。制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj确定一个唯一的输入符号ai与其对应（单值函数）。即 F(bj)= ai （ i=1,2,…,r ） （ j=1,2,…,s ） 幻灯片5 译码规则的选择应该根据什么准则？一个很自然的准则当然就是要使平均错误概率为最小。 为了选择译码规则，首先必须计算平均错误概率。 平均错误概率PE表示经过译码后平均接收到一个符号所产生的错误大小。应是条件错误概率P(e | bj)对Y空间取平均值，e表示除了F(bj)= ai以外的所有输入符号的集合。 PE =E[p(e| bj)]= 收到符号bj条件下译码的正确概率为 P[F(bj) | bj)]= P(ai | bj) P(e | bj) =1- P(ai | bj) =1- P[F(bj) | bj)] 幻灯片6 如何设计译码规则F(bj)= ai ，使PE最小 PE =E[p(e| bj)]= 由于上式PE的表达式中右边是非负项之和，可以选择译码规则使每一项为最小，即得PE最小。因为p(bj)与译码规则无关，所以只要设计译码规则F(bj)= ai ，使条件错误概率P(e | bj)为最小。 幻灯片7 最大后验概率准则 如果采用一种译码函数，对于每一个输出符号均已成具有最大后验概率的那个输入符号，则信道错误概率就能最小。 P(e | bj)最小，就是P[F(bj) | bj)]为最大，即选择译码函数： F(bj)= a*， a* ∈A， bj∈B 并使之满足条件P(a* | bj) ≧ P(ai| bj)， ai∈A ai ≠a* 这种译码规则称为“最大后验概率准则”或“最小错误概率准则”。 幻灯片8 最大后验概率准则利用贝叶斯定律就可以表示为选择译码函数 F(bj)= a*， a* ∈A， bj∈B，使满足 P(bj |a*) p(a* ) ≧ P(bj |ai) p(ai) ， ai∈A ai ≠a* 幻灯片9 最大似然译码准则 若最大后验概率准则中输入符号的先验概率p(ai) 均相等，则上式(6.7)可写成选择译码函数 F(bj)= a*， a* ∈A， bj∈B，并满足 P(bj |a*) ≧ P(bj |ai) ， ai∈A ai ≠a* 这样定义的译码规则称为最大似然译码准则。 幻灯片10 在输入符号等概率时，这两个译码准则是等价的。 根据最大似然译码准则可以直接从信道矩阵的传递概率中去选定译码函数。就是说，收到bj后，译成信道矩阵P的第j列中最大那个元素所对应的信源符号。 最大似然译码准则本身不再依赖于先验概率p(ai) 。但是当先验概率为等概率分布时，它使错误概率PE最小（如果先验概率不相等或不知道时，仍可以采用这个准则，但不一定能使PE最小）。 幻灯片11 平均错误概率PE 根据译码准则，可以进一步推得平均错误概率 PE= 平均正确概率为 经过简化 幻灯片12 平均错误概率PE 令 ， 就是某个输入符号 ai传输所引起的错误概率。 如果先验概率均相等， p(ai) =1/r，则得 幻灯片13 在等先