信源编码等长码分析报告.ppt

[例]英文27个英文字符(字母+空格)进行等长二进制编码，即K=27，L=1，D=2，根据（3-6），为得到唯一可译码，应满足码长： 实际码长取整数5 每个英文字符需要5位二进制码，最大信息量5bit（等概条件）。 实际中，英文字符出现概率不同，再考虑字符间关联性（T+h,r，in+g）,已知东西多，得到信息少。 收到5位二进制数的信息量远小于5bit，传输效率低 若对极少出现的字符不进行编码，可以降低平均码长，进而提高传输率： 会引起失真。 但当满足一定条件，可以使失真趋于零 定理3.1 等长编码定理： 设离散无记忆信源 的熵为H(X), S的 L维扩展信源为 ， 对信源输出的L长序列 进行等长编码，码字是长度为n的D进制字符串，若满足： 则当 可使译码差错 无穷小量 反之，若 不可能实现无差错编码 比较定理3.1 和（3-6）的下界 H(X)是单符号信源 的熵, 根据极大离散熵定理，信源等概分布时熵值最大，最大值为logK，即H(X)≤logK. 因此定理3.1给出了更紧的下界 对n/L的要求更低。 [例]英文27个英文字符(字母+空格)进行等长二进制编码，即K=27，L=1，D=2，根据（3-6），为得到唯一可译码，应满足码长： 若根据定理3.1： 编码效率不同 编码效率： 由定理3.1 是小于1的无量纲数，可以定义为等长编码的编码效率 在编码环节，编码效率是衡量编码质量的重要指标之一，对信源编码应当尽量提高编码效率 [例]离散 无记忆信源 根据定理3.1，先计算熵： 定理3.1要求的码长下界比（3-6）要求的码长下界更紧致，但码长为整数，因此码长都取2 对该信源进行二进制等长编码，先确定码长，因为信源消息数K=3，信源序列长L=1，码符号数D=2，根据（3-6） 对原信源进行L=2维扩展， 进行二进制等长编码 编码效率 取码长为4 根据（3-6）确定码长，扩展信源：K=3，L=2，D=2 信源序列与码字—对应，是唯一可译码，差错率为0 根据定理3.1确定码长： 取码长为3 对扩展信源编码：K=3，L=2，D=2 此时的编码效率 奇异码， 会带来误差 相对而言，信息传输率提高了很多； 上述两种情况编码效率并不太高； 随着L的增大，编码效率会进一步提高； 对于等长码，需要L很大，才能满足对编码效率和编码误差率的要求 等长编码小结 定理3.1更紧致； 实质上，这给出了为实现无差错编码 ----每个信源符号所需要的最少码符号数 注意，这种编码可能出现失真，能否容忍？ 而无失真的要求是，信源序列长L趋于无穷大 L的增大则意味着实现的复杂度和译码时延 定理3.1 （3-6） 变长码能在L不太大时实现高效无失真编码 主讲：肖 竹 第三章  离散信源无失真编码 第三章 Part I 编码的基本概念 唯一可译码 等长码与等长信源编码原理 编码实质上是对信源的原始符号按一定的数学规则进行一种变换。由于无失真信源编码可以不考虑抗干扰问题，所以它的数学描述比较简单。如图所示, 就是一个编码器。 编 码 器 S(消息、信源符号集) {S1,S2,…,Sq} W(码字符号集) {w1,w2,…,wq} 码/信道符号集 {X1,X2,…,Xr} 图3.1 无失真信源编码器 3.1 编码的基本概念 适合信道传输 输入信源符号S={S1,S2,…,Sq}。同时存在另一符号X={x1,x2,…,xr}，一般元素xj是适合信道传输的，称为码符号(或者码元)。 编码器是将信源符号集中的符号Si(或者长为N的信源符号序列)变换成由xj(j=1,2,…,r)组成的长度为Li的一一对应的码符号序列Wi的序列，称为码字。 即 Si(i=1,…,q) ?Wi=(xi1xi2…xiLi) , xi1∈X(k=1,…,Li) Si= {Si1,Si2,…,SiN} ?Wi=(xi1xi2…xiLi) , SiK∈S (k=1,…,Li) 长度Li称为码字长度或简称码长。所有这些码字的集合C称为码。 映射： 一一对应， 无压缩编码 多对一，压缩编码 [举例] 待发消息： 阴 晴 雨 雪 信源符号集： {a1, a2, a3, a4} 用二进制信道： {0,1}，4个