湖南大学信息论与纠错编码7741912-精选（公开课件）.pptVIP

[例]英文27个英文字符(字母+空格)进行等长二进制编码，即K=27，L=1，D=2，根据（3-6），为得到唯一可译码，应满足码长： 实际码长取整数5 每个英文字符需要5位二进制码，最大信息量5bit（等概条件）。 实际中，英文字符出现概率不同，再考虑字符间关联性（T+h,r，in+g）,已知东西多，得到信息少。 收到5位二进制数的信息量远小于5bit，传输效率低 第三章  离散信源无失真编码 第三章 Part I 编码的基本概念 唯一可译码 等长码与等长信源编码原理 编码实质上是对信源的原始符号按一定的数学规则进行一种变换。由于无失真信源编码可以不考虑抗干扰问题，所以它的数学描述比较简单。如图所示, 就是一个编码器。 编 码 器 S(消息、信源符号集) {S1,S2,…,Sq} W(码字符号集) {w1,w2,…,wq} 码/信道符号集 {X1,X2,…,Xr} 图3.1 无失真信源编码器 3.1 编码的基本概念 适合信道传输 输入信源符号S={S1,S2,…,Sq}。同时存在另一符号X={x1,x2,…,xr}，一般元素xj是适合信道传输的，称为码符号(或者码元)。 编码器是将信源符号集中的符号Si(或者长为N的信源符号序列)变换成由xj(j=1,2,…,r)组成的长度为Li的一一对应的码符号序列Wi的序列，称为码字。 即 Si(i=1,…,q) ?Wi=(xi1xi2…xiLi) , xi1∈X(k=1,…,Li) Si= {Si1,Si2,…,SiN} ?Wi=(xi1xi2…xiLi) , SiK∈S (k=1,…,Li) 长度Li称为码字长度或简称码长。所有这些码字的集合C称为码。 映射： 一一对应， 无压缩编码 多对一，压缩编码 [举例] 待发消息： 阴 晴 雨 雪 信源符号集： {a1, a2, a3, a4} 用二进制信道： {0,1}，4个消息转化为4个二进制代码： {a1: 00, a2: 01 , a3: 10 , a4: 11}, 码长为2 汉字电报：10000个常用字 ? 10000个4位十进制数 每个十进制数字 ? 5位二进制等重代码组 u1 ? 0000 ? 01101 01101 01101 01101 u2 ? 0001 ? 01101 01101 01101 01011 … u10000 ? 9999 ? 10011 10011 10011 10011 信源消息 信源符号集：0,1,2，…,9 码符号集： 0，1 码序列 码的定义 1. 二元码 若码符号集为X={0,1},所得码字都是一些二元序列,则称为二元码。 二元码是数字通信和计算机系统中最常用的一种码。 2.等长码(或称固定长度码) 若一组码中所有码字的码长都相同,即 Li=L(i=1,2,…,q), 则称为等长码。 3.变长码 若一组码中所有码字的码长各不相同,即任意码字由不同长度Li码符号序列组成,则称为变长码。 4.非奇异码 若一组码中所有码字都不相同,即所有信源符号映射到不同的码符号序列， 5.奇异码 若一组码中有相同的码字, 信源消息到码字的映射不是一一对应 则称码C为奇异码。---不具备唯一可译性 6.同价码 若码符号集X:{x1,x2,…,xr}中每个码符号xi所占的传输时间相同,则所得的码C为同价码。 一般二元码是同价码。对同价码来说，等长码中每个码字的传输时间都相同；而变长码中每个码字的传输时间就不一定相同。电报中常用的莫尔斯码是非同价码，其码符号点(?)和划(—)所占的传输时间不相同。 7.码的N次扩展码 假设某码C,它把信源S中的符号Si一一变换成码C中的码字Wi,则码C的N次扩展码是所有N个码字组成的码字序列的集合。 若码C={W1,W2,…,Wq}其中 则N次扩展码 可见,N次扩展B中,每个码字Bi(i=1,…,qN)与N次扩展信源SN中每个信源符号序列Si={si1,si2,…,siN}一一对应。 举例，设信源S的概率空间为 若把它通过一个二元信道进行传输，为使信源适合信道传输，就必须把信源符号Si变换成0,1符号组成的码符号序列(二元序列)。我们可采用不同的二元序列其与信源符号Si一一对应，这样就可得到不