信息论：第8章 无失真信源编码.pptVIP

第8章 无失真的信源编码;香农编码定理虽然指出了理想编码器的存在性,但是并没有给出实用码的结构及构造方法； 编码理论正是为了解决这一问题而发展起来的科学理论；编码的目的是为了优化通信系统，就是使这些指标达到最佳； 通信系统的性能指标主要是有效性、可靠性、安全性和经济性，除了经济性外，这些指标正是信息论研究的对象。 按不同的编码目的，编码分为三类：信源编码、信道编码和安全编码/密码。;信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 信道编码：是以提高信息传输的可靠性为目的的编码。通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。;密码：是以提高通信系统的安全性为目的的编码。通常通过加密和解密来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。;信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源 编码； 相关信源编码：非独立信源编码。; 有些编码原理和技术在通信原理和信号处理等相关课程中介绍。例如： 连续信源编码：脉冲编码调制(PCM)、矢量量化技术； 相关信源编码： 预测编码：增量编码、差分脉冲调制(DPCM)、自适应差分脉冲调制(ADPCM)、线性预测声码器； 变换编码：K-L变换、离散变换、子带编码、 小波变换。;无失真信源编码和限失真信源编码的应用 前者主要用于离散信源或数字信号，如文本、表格及工程图纸等信源，要求进行无失真的数据压缩，要求能够无失真地可逆恢复; 后者主要用于波形信源或波形信号，如语音、电视图像、彩色静止图像等信号，它们不要求完全可逆地恢复，而是允许在一定限度可以有失真的压缩。 两者目的都是为了用较少的码率来传送同样多的信息，提高系统有效性。; 香农第一定理给出了信源熵与编码后的平均码长之间的关系，同时也指出可已通过编码使平均码长达到极限值，因此，香农第一定理是一个极限定理。 但定理中并没有告诉我们如何来构造这种码。 最佳变长码：凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。; 我们学习三种编码方法：香农码、霍夫曼码以及费诺码。 这三种码的平均码长都比较短。 因为平均码长是各个码的概率平均，可以想象，应该使出现概率大的信源符号编码后码长尽量短一些。三种编码方法的出发点都是如此。;香农编码 香农编码严格意义上来说不是最佳码。 香农编码是采用信源符号的累计概率分布函数来分配码字。 ;香农编码方法如下： (1)将信源消息符号按其出现的概率大小依次排列： (2)确定满足下列不等式的整数码长Ki： (3)为了编成唯一可译码，计算第i个消息的累加概率;(4)将累加概率Pi变换成二进制数。 (5)取Pi二进制数的小数点后Ki位即为该消息符号的二进制码字。 可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接近于最佳编码。 ;信源消息符号xi;晌情豢属硫摹锑拦变沈纽厅计铅氨趁皖阻派苗殉免瓜送回秦绩粗乌麦挖液信息论：第8章 无失真信源编码信息论：第8章 无失真信源编码;以i=4为例， 累加概率Pi=0.57，变成二进制数，为0.1001…。 转换的方法是：用Pi乘以2，如果整数部分有进位，则小数点后第一位为1，否则为0，将其小数部分再做同样的处理，得到小数点后的第二位，依此类推，直到得到了满足要求的位数，或者没有小数部分了为止。 ;例如现在Pi=0.57，乘以2为1.14，整数部分有进位，所以小数点后第一位为1，将小数部分即0.14再乘以2，得0.28，没有整数进位，所以小数点后第二位为0，依此类推，可得到其对应的二进制数为0.1001…。 可以看出，编码所得的码字，没有相同的，所以是非奇异码，也没有一个码字是其它码字的前缀，所以是即时码，也是唯一可译码。;平均码长为： 平均信息传输效率为 ;注意：此例中，X6与X7的码字完全可以采用长度为3的其他的码字代替，而没有必要采用码长4和7。; 香农编码的效率不高，实用意义不大，但对其它编码方法有很好的理论指导意义。 一般情况下，按照香农编码方法编出来的码，其平均码长不是最短的，也即不是紧致码(最佳码)。只有当信源符号的概率分布使不等式左边的等号成立时，编码效率才达到最高。; 1952年霍夫曼提