4无失真信源编码及其定理资料.ppt

第四章 无失真信源编码 4.1 编码器及码的分类 第四章 无失真信源编码 本章的重、难点内容 1、理解等长码和等长信源编码定理 2、理解和掌握变长码及变长码编码定理 3、理解Huffman编码、费诺码、香农码 4、了解几种实用的无失真信源编码方法，包括（MH编码、算术编码、LZ码） 第四章 无失真信源编码 编码的意义： 通信的基本问题：如何高速、高质地传送信息。 高速和高质＝鱼和熊掌。 编码讨论的问题： （1）质量一定，如何提高信息传输速度（提高编码效率或压缩比）---- 信源编码（本章讨论问题） （2）信道传输速度一定，如何提高信息传输质量（抗干扰能力）----信道编码（下一章讨论） 引言 信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 引言 信道编码：是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。 密码：是以提高通信系统的安全性为目的的编码。通常通过加密和解密来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。 引言 信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。 无失真信源编码定理：是离散信源/数字信号编码的基础； 限失真信源编码定理：是连续信源/模拟信号编码的基础。 引言 信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源编码； 相关信源编码：非独立信源编码。 4.1 编码器及码的分类 编码：信息的组织方式 编码的实质：对信源的原始符号按一定的数学规则进行变换。 编码的目的： 信源编码：提高信息传输的有效性 信道编码：提高信息传输的可靠性 本章不考虑干扰问题 4.1 编码器及码的分类 无失真编码器结构框图 几个术语： 信源符号： 信源输入码符号 (码元)： 4.1 编码器及码的分类 码字Wi： 由xj (j=1,2,…,r)组成的长度为 li 的序列，Wi与si一一对应。 码字长度 (码长)： Wi的长度li 编码器：将信源符号si变换成Wi的设备 信源编码 信源编码：把信源符号si映射为码字Wi的过程。 无失真编码：映射是一一对应、可逆的。 信源编码基本思想：尽可能缩短出现概率大的信源符号的码字 4.1 编码器及码的分类 码的分类 二元码：若码符号集X＝{0，1}，所得码字为一些二元序列，则称二元码。[在二元信道中传输] 等长码（固定长度码）：若一组码中所有码字的长度都相同(即li=l,i=1,…,q)，则称为等长码。 变长码：不满足等长码条件的码组称为变长码。 4.1 编码器及码的分类 非奇异码：若一组码中所有码字都不相同(即所有信源符号映射到不同的码符号序列，不同信源符号可分辨)，则称为非奇异码。 奇异码：反之，若码组中含有相同的码字则为奇异码。 同价码：若码符号集X：{x1,x2,…,xr}中每个码符号所占的传输时间都相同，则所得的码为同价码。 4.1 编码器及码的分类 码的N次扩展码： 4.1 编码器及码的分类 惟一可译码：若码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码称为惟一可译码（单义可译码）。否则就称为非惟一可译码或非单义可译码。 表1中码1是惟一可译码，而码2是非惟一可译码。因为对于码2，其有限长的码符号序列能译成不同的信源符号序列。如码符号序列0010，可译成s1s2s1或s3s1，就不惟一了。 问题：怎样才能做到无失真编码即惟一可译码？ 4.2 等长码 若要实现无失真编码，不但要求信源符号si与码字Wi是一一对应的，而且要求码符号序列的反变换也是惟一的。即所编的码必须是惟一可译码。 对于等长码来说，若等长码是非奇异码，则它的任意有限长N次扩展码一定也是非奇异码。 等长非奇异码一定是惟一可译码。 4.2 等长码 等长编码惟一可译的必要条件： 其中： q为信源符号数,r为符号集中的码元数,l为码长。 例如： 若信源符号数 q＝4，进行二元等长编码，则码符号个数为 r ＝2。信源S存在惟一可译等长码的条件是码长 l≥2。 若q＝8，r ＝2，l≥3。 4.2 等长码 对 两边取对数得 平均每个信源符号所需的码符号个数 上式表明：对于等长惟一可译码而言，平均每个信源符号至少需要用 logq／logr个码符号来表示。即：每个信源符号所需最短码长为 logq／logr个。 4.2 等长码 当r=2(二元码)时logr=1, 上式变成 上式