第章 有噪信道编码.pptVIP

信息论基础 尹洪胜 主讲 第六章 有噪信道编码 6.1 信道编码的相关概念 6.2 有噪信道编码定理 6.3 纠错编码（自学） *6.4 几种重要的纠错码（自学） 6.1 信道编码的相关概念 信道编码又称为数据传输码或差错控制码，虽然和信源编码一样都是一种编码，但信源编码的作用是压缩冗余度以得到信息的有效表示，提高传输时的信息传输率。而信道编码的作用是提高信息传输时的抗干扰能力以增加信息传输的可靠性。在研究信道编码时，信源编码器和信源译码器分别归于信源和信宿。等效通信系统模型如图6.1所示。下面研究编码信道中的信道编码和译码。 6.1 信道编码的相关概念 有噪信道编码定理由香农在1948年给出，但没有进行严格的数学证明。在1955-1965包括香农本人在内，多人给出多种不同的数学证明。 1、编码信道模型 1）信源编码 6.1 信道编码的相关概念 2）编码信道模型 （3）编码器：按一定的规则给数字序列M增加一些多余的码元，使不具有规律性的信息序列M变换为具有某种规律性的数字序列C，又称为码序列。信息序列M与多余码元之间具有相关性。 （4）译码器：利用预知的编码规则译码，能够检验接受的数字序列?中是否有错 ，或者纠正其中的差错，将附加多余码元去掉，输出给信源译码器。 2、错误概率和译码规则 1）错误概率PE和信道统计特性、译码过程、译码规则有关。 例 二元对称信道 6.1 信道编码的相关概念 2)译码规则：设信道输入符号集X={x1,x2,….,xr}，输出符号集Y={y1，y2，…，ys}。若对每一个输出符号yj都有一个确定的函数F（yj），使yj对应于唯一的一个输入符号xi，则称这样的函数为译码规则。记为： F（yj）=xi（i=1，2，…，r；j=1，2，….，s） 6.1 信道编码的相关概念 例题：设有一信道，信道矩阵 3）错误概率 ：在确定译码规则F（yj）=xi*下，信道输出端接收到 yj ，则一定译成xi*。此时如果发送端发送的就是xi*，表明译码正确；否则就是译码错误。那么： 正确译码概率：p（F(yj)|yj)=p(xi*|yj) 错误译码概率： p（e|yj)=1-p(xi*|yj) 平均错误概率：Pe=E[p（e|yj)]=∑p(yj) p（e|yj) 经过译码后，平均接受到一个符号所产生错误的大小。 6.1 信道编码的相关概念 4）最佳译码规则 （1）总体原则：使平均错误概率Pe最小。 （2）最大后验概率准则： 选择译码函数F（yj）=x*，使之满足条件P(x*|yj)=p(xi|yj)，对任意i 含义：它是选择这样一种译码函数，对于每一个输出符号yj均译成具有最大后验概率的那个符号x*，此时具有Pe最小值 举例：信源 ，信道矩阵 （3）最大联合概率准则：选择译码函数F（yj）=x*，使之满足条件P(x*yj)=p(xiyj)，对任意i 举例：同上例 解：利用乘法公式 1 收到y1: P(x1y1)=1/2, P(x2y1)=1/4, P(x3y1)=0 所以F(y1)=x1 2 收到y2: F(y2)=x3 3 收到y3: F(y3)=x3 （4）最大似然译码准则：选择译码函数F（yj）=x*，使之满足条件P(yj|x*)=p(yj|xi)，对任i 举例：同上例 解：通过观察可得： 1 F(y1)=x1 F(y2)=x3 F(y3)=x3 2 F(y1)=x2 F(y2)=x3 F(y3)=x3 （5）平均错误概率Pe 1）问题提出 传输信息的2个主要要求： （1）信息传输率尽可能快 （效率） （2）平均错误概率尽可能低（可靠性） 例 反复传送提高通信的可靠性。以BSC信道为例，设信源输出符号只有0和1 ，信道矩阵 b) 信源输出0或1重复传送3次：信源传1位，信道传3位 此时：R=1/3 bit/符号，10-4 c) 进一步增大重传次数 n=5 R=1/5 bit/符号，Pe=10-5 n=7 R=1/7 bit/符号，Pe=4? 10-7 n=9 R=1/9 bit/符号，Pe=10-8 n=11 R=1/11 bit/符号，Pe=5? 10-10 2）离散信道的编码定理 用文字叙述其内涵：只要传信率小于信道容量C，总存在一种信道编码，可以以所要求的任意小的差错概率实现可靠通信-(香农第二编码定理) 信道编码的逆定理：信道容量是可靠通信系统传信率的上边界，如果RC就不可能