信息论——基础理论与应用（第5版）课件 【ch06】有噪信道编码定理.pdfVIP

高等学校电子信息类精品教材 第六章 有噪信道编码定理 信息论——基础理论与应用 》》》 01 错码概率 和译码规律 》》》》》 一、错码概率和译码规律 【例6.1】有一离散单符号信道，信道矩阵为 b? b? b? a? 0.50.3 0.2 P=a? 0.20.30.5 (6.2) 乙 a? 0.30.30.4 根据这样一个信道矩阵，设计一个译码规则A,另外一个译码规则B,则 F(b?)=a? F(b?)=a? B:F(b?)=a? A:F(b?)=a? F(b?)=a? F(b?)=a? 由于s个输出符号中的每一个都可以译成个输入符号中的任何一个，所以共有r?种译码规 则可供选择。 译码规则的选择应该根据什么准则?一个很自然的准则当然就是要使平均错误概率为最小。 一、错码概率和译码规律 为了选择译码规则，首先必须计算平均错误概率。 送端发送的就是α,这就为正确译码；如果发送的不是aj,就认为错误译码。那么，收到符号 b,条件下译码的条件正确概率为 PTFb)I6I=Ps]6) 错误概率与条件正确概率之间有关系 (6.3) P(e|b,)=1-P(a?|b,)=1-P[F(b)|b,] 经过译码后的平均错误概率Pg应是条件错误概率P(e|b,)对Y空间取平均值。即 Pa=E[P(e|b)]=∑P(b)P(e|b,) (6.4) j=1 它表示经过译码后平均接收到一个符号所产生的错误大小，也称平均错误概率。 一、错码概率和译码规律 根据式(6.3),为了使P(e|b,)为最小，就应选择P[F(b)|b,]为最大。即选择译码函数： F(b,)=a*,a?∈A,b,∈B (6.5a) 并使之满足条件 (6.5b) P(alb)≥P(a?|b,),a?∈A a?≠a* 这就是说，如果采用这样一种译码函数它对于每一个输出符号均译成具有最大后验概率 的那个输人符号，则信道错误概率就能最小。这种译码规则称为“最大后验概率准则”或 “最小错误概率准则”。 因为我们一般是已知信道的传递概率P(b,|a;)与输符号的先验概率P(a?),所以根据贝叶 斯定律式(6.5b)可写成 P(b,la:)P(a?) P(b,la)P(a*) ≥ (6.6) P(b) P(b)ax∈A,a?≠a*,bj∈B 一般P