[第六章有噪信道编码定理.pptVIP

理信学院 孙桂萍 有噪信道编码定理 信道编码的目的 从信道编码的构造方法看，信道编码的基本思路是根据一定的规律在待发送的信息码中加入一些人为多余的码元，以保证传输过程可靠性。信道编码的任务就是构造出以最小的冗余度代价换取最大抗干扰性能的“好码”。 信道的统计特性 错误概率与信道的统计特性有关，而信道的统计特性可由信道的传递矩阵描述。 二元对称信道，错误的传递概率为p，正确的为1-p： 错误概率与译码规则的关系 错误概率不仅与信道的统计特性有关，还与接收端的译码规则有关。 因为是对称信道，那么发送“1”，错译成“0”的概率也为2/3。 在此译码规则下，平均错误概率——PE 这里，假设输入端等概率分布。 译码规则 数学定义：设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B={bj}，j=1,2,…,s。制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj确定一个唯一的输入符号ai与其对应。 每一个输入符号可以对应于多个输出符号，也就是s个输出符号中的每一个都可以译成r个输入符号中的任何一个，所以共有r s种译码规则。 译码规则举例 例6.1：有一离散单符号信道，信道矩阵为： 平均错误概率 译码规则的选取原则是使得平均错误概率尽可能小。 在确定了译码规则F(bj)后，若 收到的为bj ，译成ai，发送的是ai——正确 收到的为bj ，译成ai，发送的不是ai—错误 条件正确概率为： 条件错误概率为： 平均错误概率 平均错误概率PE应是条件错误概率对所有的Y求统计平均。 最大后验概率准则 最大后验概率准则另一种描述 因为一般已知传递概率 和输入符号的先验概率 ，所以将 根据贝叶斯定律改写为： 最大似然译码准则 若输入符号的先验概率 均相等，则1式可写为： 数学描述： 选择译码函数： 平均错误概率的计算 例题6.2 已知信道矩阵如下，根据最大似然译码选取译码规则，并计算平均错误概率。若输入不等概，概率分别为1/4，1/4，1/2，比较按照最大似然译码准则和最大后验概率准则选取的译码规则的PE 费诺不等式 平均错误概率与译码规则有关，而译码规则又由信道特性决定，由于错误的存在，所以当收到某符号后对发送端仍存在不确定性。可见，PE与信道疑义度有关： 错误概率与编码方法的关系 对于此二元对称信道（假设等概）可以利用最大似然译码准则选取译码规则，使得PE尽量的小。 F(b1)=a1 F(b2)=a2 注：b1=a1=0，b2=a2=1 PE=0.5*0.01+0.5*0.01=0.01 一般要求在-6到-9数量级上。 码一：重复编码 将待发送的消息码重复发送几遍，可以减小错误的发生，提高可靠性。例如，重发三次，n=3 输入序列 （αi） 输出序列（βj） 000（许用码字） 000 001 001 010 010 011 011 100 100 101 101 110 110 111 （许用码字） 111 码一：重复编码（n=3）的PE 利用最大似然译码准则选取译码规则时需要知道信道矩阵，可计算得 重复编码可以使平均错误概率减小的原因 重复编码三次时，α1(000)对应的输出序列为 β1(000)， β2 (001) ， β3 (010) ， β5 (100) ， 与α1比较之后可发现，或是相同，或是发生了一位错误，但是译码的结果都是正确的，降低了译错的可能性，平均错误概率减小了。 若继续增大n，PE可逐渐减小，n可以无限增大吗？ 答案是否定的，n不可以无限量增大 因为n增大的同时，会降低信息传输率 编码后的信道的信息传输率 R=log M / n（比特/码符号）