第5章 信道编码 信息论 教学课件.ppt

第5章 信道编码 理解信道编码定理；了解纠错编码的概念 掌握线性分组码的纠错能力、生成矩阵和编码、校验矩阵和译码。 一、信道编码定理 例 纠错码分类 （1）从功能角度 检错码 ：发现差错 纠错码 ：自动纠正差错 （2）按信息序列的处理方法 分组码（block code）:将信息序列分割为k位一组后，独立编解码，分组间无关。 线性分组码一般表示为(n,k)，其中n为码字长度，k为信息位长度，从而校验位长度为n-k。 卷积码（convolutional code）:先将信息序列分组，不同的是编解码运算不仅与本组信息有关，而且还与前面若干组有关。 纠错码分类 （3）按码元与原始信息位的关系 线性码：所有码元均是原始信息元的线性组合，编码器不带反馈回路。 非线性码 ：码元不都是信息元的线性组合，可能还与前面已编的码元有关，编码器可能带反馈回路。 纠错码分类 （4）差错类型 纠随机差错码：用于随机差错信道，其纠错能力用码组或码段内允许的独立差错的个数来衡量。 纠突发差错码：用于突发差错信道，其纠错能力由可纠突发差错的最大长度来衡量。 介于中间的纠随机/突发差错码。 （5）构码理论： 代数码、几何码、算术码、组合码等 最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的错误图案为00…01，00…10，…，01…00，10…00。 这样，在输出端进行纠错可利用错误图案ei和输出序列的随机结果ri的模2加，所译出的正确码字为 最常见的汉明码是(7,4)汉明码，设码字为 其中 为信息位，长度为k=4， 为校验位，长度为n-k=3。 为了从输出序列检出并纠正1个错误，设置与错误序列相对应的误码标志为： 101 110 011 111 无错误 000 误码位置 001 010 100 误码位置 由此得到逻辑关系式： 写成模2运算的矩阵形式： 称该矩阵的转置矩阵为校验矩阵H，即 编码时希望 相应的逻辑关系式： 由于 为信息位，即 而校验位 可由该逻辑关系式得到： * 信道编码 * 2010年5月5日 信息论导论 通信与信息工程学院 杨海芬 yanghf@uestc.edu.cn 编 13章 500+页 经过信源编码，一般可认为通过离散信道传输的消息为二元序列，由于信道存在噪声，在信道中传输消息会发生错误。 需要研究的问题是： ①怎样通过编码，使在信道中传输的消息发生的错误减少到可以接受的程度，进而能否实现无错误传输？ ②无错误传输可达的最大信息传输率是多少？ ③纠错编码(Error Correcting Code)的具体方法？ 信道编码定理： 每个信道都具有明确的信道容量C，只要 R C，就存在一种编译码方式能够实现在 R 的速率下传输信息，而且误码率还能够任意小。 但是，这里只证明了存在性，并没有给出如何实现！ 即使是随机编码的方式，也只能在编码长度无穷大时才能够获得任意小的误码率！ 信道容量 编码存在性定理 信道编码定理的证明要用到联合ε典型序列等数学知识，不作证明。 信道编码定理又叫香农第二定理，该定理从理论上证明了译码错误概率任意小的理想纠错编码的存在性。 同时，信道编码定理也指出，信道容量C是一个界限，如果信息传输率超过这个界限一定会出错。 1940+，代数编码理论 1960年前后，卷积码和维特比译码 1982年，网格编码调制 1993年，Turbo码 ＬＤＰＣ编码 越来越逼近Shannon限！ Turbo:随机交织器大小为65535，18次迭代，在Eb/N00.7dB时，码率1/2, AWGN信道,误比特率小于10-5 随机码 长码 最大似然译码 1950年前后，汉明码 二、信道编码概念 1、最小错误概率准则和最大似然准则 最小错误概率准则——按最小错误概率译码 Bayes公式 后验概率 先验概率 如果信源等概，最小错误概率准则转换为最大似然准则。 2、平均错误概率 例1 求信源等概率分布时的平均错误概率。 按最大似然准则译码 平均错误概率 该数量级的错误概率在通信系统中不被接受，通常要求错误概率的数量级达到10-6 -10-9 。 为降低错误概率，考虑重复发送，如重复三次，将0编码为000，1编码为111，称为3重复码。 信道为三次扩展信道的子信道 平均错误概率 如果重复N次，即编为N重复码，可求出 N重复码存在编码效率问题，错误概率PE降低的同时，码率也大大降低——3重复码的信息传输率为原信息传输率的1/3，其编码效率仅为1/3。 需要找的“好码”应该一方面能使错误概率PE降到可以接受的程度，另一方面信息传输率却不能与原信息传输率相差太多，有较高的编码效率。 3、汉明距离与编码原则 差错控制系统分类 前向纠错（FEC）：