《第8章无失真的信源编码》-精选·课件.pptVIP

第8章 无失真的信源编码 香农第一定理给出了信源熵与编码后的平均码长之间的关系，同时也指出可已通过编码使平均码长达到极限值，因此，香农第一定理是一个极限定理。 但定理中并没有告诉我们如何来构造这种码。 最佳变长码：凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。 我们学习三种编码方法：香农码、霍夫曼码以及费诺码。 这三种码的平均码长都比较短。 因为平均码长是各个码的概率平均，可以想象，应该使出现概率大的信源符号编码后码长尽量短一些。三种编码方法的出发点都是如此。 8.1 霍夫曼码 香农编码 香农编码严格意义上来说不是最佳码。 香农编码是采用信源符号的累计概率分布函数来分配码字。 香农编码方法如下： (1)将信源消息符号按其出现的概率大小依次排列： (2)确定满足下列不等式的整数码长Ki： (3)为了编成唯一可译码，计算第i个消息的累加概率 (4)将累加概率Pi变换成二进制数。 (5)取Pi二进制数的小数点后Ki位即为该消息符号的二进制码字。 可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接近于最佳编码。 例： 设信源共有7个符号组成，其概率如表所示，求其香农码。 以i=4为例， 累加概率Pi=0.57，变成二进制数，为0.1001…。 转换的方法是：用Pi乘以2，如果整数部分有进位，则小数点后第一位为1，否则为0，将其小数部分再做同样的处理，得到小数点后的第二位，依此类推，直到得到了满足要求的位数，或者没有小数部分了为止。 例如现在Pi=0.57，乘以2为1.14，整数部分有进位，所以小数点后第一位为1，将小数部分即0.14再乘以2，得0.28，没有整数进位，所以小数点后第二位为0，依此类推，可得到其对应的二进制数为0.1001…。 可以看出，编码所得的码字，没有相同的，所以是非奇异码，也没有一个码字是其它码字的前缀，所以是即时码，也是唯一可译码。 平均码长为： 平均信息传输效率为 注意：此例中，X6与X7的码字完全可以采用长度为3的其他的码字代替，而没有必要采用码长4和7。 香农编码的效率不高，实用意义不大，但对其它编码方法有很好的理论指导意义。 一般情况下，按照香农编码方法编出来的码，其平均码长不是最短的，也即不是紧致码(最佳码)。只有当信源符号的概率分布使不等式左边的等号成立时，编码效率才达到最高。 * * 赵 越 2011.11 香农编码定理虽然指出了理想编码器的存在性,但是并没有给出实用码的结构及构造方法； 编码理论正是为了解决这一问题而发展起来的科学理论；编码的目的是为了优化通信系统，就是使这些指标达到最佳； 通信系统的性能指标主要是有效性、可靠性、安全性和经济性，除了经济性外，这些指标正是信息论研究的对象。 按不同的编码目的，编码分为三类：信源编码、信道编码和安全编码/密码。 信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 信道编码：是以提高信息传输的可靠性为目的的编码。通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。 密码：是以提高通信系统的安全性为目的的编码。通常通过加密和解密来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。 信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。 无失真信源编码定理：是离散信源/数字信号编码的基础； 限失真信源编码定理：是连续信源/模拟信号编码的基础。 信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源编码； 相关信源编码：非独立信源编码。 有些编码原理和技术在通信原理和信号处理等相关课程中介绍。例如： 连续信源编码：脉冲编码调制(PCM)、矢量量化技术； 相关信源编码： 预测编码：增量编码、差分脉冲调制(DPCM)、自适应差分脉冲调制(ADPCM)、线性预测声码器； 变换编码：K-L变换、离散变换、子带编码、小波变换。 无失真信源编码和限失真信源编码的应用 前者主要用于离散信源或数字信号，如文本、表格及工程图纸等信源，要求进行无失真的数据压缩，要求能够无失真地可逆恢复; 后者主要用于波形信源或波形信号，如语音、电视图像、彩色静止图像等信号，它们不要求完全可逆地恢复，而是允许在一定限度可以有失真的压缩。 两者目