信息论与编码第五章.pptVIP

无失真信源编码（无噪离散信道编码）的抗干扰能力很脆弱，如把信源编码器的输出直接接入信道，必然会因干扰造成错误，使通信不可靠，为了使通信既有效，又可靠，可在以缩短平均码长、提高通信有效性为主要目标的信源编码器的输出与信道的输入之间，对信源编码器输出的最佳码再进行一次编码，以提高其抗干扰能力，称为信道编码。 第五章 有噪信道编码 §5.1 译码规则和平均错误概率 信源符号编码后经信道传输到达信道的输出端并不表示通信过程的终结，还要经过一个译码过程，或称判决过程，才能到达消息的终端（信宿），因此，采用什么样的译码规则，对通信系统的可靠性影响很大。 错误概率不仅与信道的统计特性有关也与译码的规则有关。 一、译码规则 对于每一个输出符号确定一个唯一的输入符号与其对应（单值函数），即： 输出集上中有S种不同的符号，所以一个译码规则由q个译码函数值组成（一组），又因S个输出符号中的每一个都可以译成q个输入符号中的任何一个，所以其有qs种不同的译码规则可供选择，（从q个符号中每次取s个任意次序排列（可重复）。 q=2,s=2时： 二、平均错误概率 表示经译码后平均接收到一个符号所产生的错误大小。希望PE越小越好。 §5.2 最大后验概率译码准则 如何选择译码规则 ，使 最小？ 式右边每一项都为最小， 肯定最小。 选择译码规则 使每一单个符号正确译码概率 为最大即可。 即：选择译码函数 并使之满足条件 对所有的 ， 这个选择译码规则的原则就称为“最大后验概率译码准则”。 由于该准则把每一个输出符号都译成具有最大后验概率的那个输入符号，从而保证了 逐列进行处理 准则告诉我们，要使平均错误译码概率 达到最小值，必须采用最大后验概率准则，而 即信源、信道特性都有关。如给定其中一种，就要变化另一种使 本身再减小，都给定则 定。 §6.3 最大似然译码准则 如输入符号等概分布，有： 选择译码规则 称为最大似然译码准则，这样就不必把给定信道的前向概率换算成后验概率，再比较后验概率的大小来选择译码规则了。 §5.4 费诺不等式 证明：如 ，则平均错误概率： 左： 右： 应用不等式 第一项即  第二项 即 即： 证毕 不论采用什么译码规则，Fano不等式普遍成立。 收到随机变量Y后关于随机变量X的仍然存在的平均不确定性 由两部分组成，第一部分是收到Y后是否产生其值为PE的平均错误，译码概率的平均不确定性 ； 第二部分是产生值为PE的平均错误译码概率后，到底是哪个输入符号发送而造成的错误译码的不确定性，这个不确定性的最大值是 ，这是因为选 ，当收到任何一种 ，译成 ，只有当正好输入 时，才是正确译码，其它 个输入符号均为错误，而这 个其它输入符号出现的最大平均不确定性是（等概）。 §6.5 平均错误概率与编码方法 一般不等于0，靠选择译码规则的潜力已挖尽，需通过编码降低 本身的值。 重复编码： 假定单符号信道输入符号数为M，输入等概时，每个符号携带的最大平均信息量是logM,n次重复编码后每个码符号携带的平均信息量下降为： 比特/码符号。 ：研究通信的目的是希望通信既有效，又可靠，但这是一个矛盾，希望找到一种更好的编码方法，使 最小错误概率相当小，而R却保持在一定的水平上。 分析一下几种情