信息论与编码-第4章 无失真信源编码.pptVIP

第四章 无失真信源编码 引言 第一节 编码器 第二节 码的分类 第三节 等长信源编码定理 第四节 变长码 第五节 变长信源编码定理 第六节 变长码的编码方法 引言 通信的实质是信息传输; 信息传输的基本问题: 高速度、高质量传送信息; 怎样才能做到尽可能不失真而又快速化呢？这需要解决两个问题： 1）在不允许失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以便提高信息传输率。 2）在信道受干扰的情况下，如何提高信号的抗干扰能力，同时又使得信息传输率最大。 为了解决这两个问题引入了信源编码和信道编码。 信源编码: 以提高通信有效性为目的. 通常通过压缩信源的冗余度来实现. 一般方法是压缩每个信源符号的平均比特数或信源的码率. 即同样多的信息用较少的码率传送, 使单位时间内传送的平均信息量增加, 从而提高通信的有效性. 信道编码: 以提高信息传输的可靠性为目的. 通常通过增加信源的冗余度来实现. 采用的一般方法是增大码率/带宽. 与信源编码正好相反. 引言 信源编码和信道编码的矛盾 一般来说, 提高抗干扰能力(降低失真或错误概率)往往是以降低信息传输率为代价的; 反之, 要提高信息传输率而常常又会使抗干扰能力减弱. 信息论的编码定理已从理论上证明: 至少存在某种最佳的编码或信息处理方法, 能够解决上述矛盾, 做到既可靠又有效地传输信息. 这些结论对各种通信系统的设计和估价具有重大的理论指导意义. 有关这些内容将分别在四、五、六章中讨论. 信源编码理论是信息论的一个重要分支, 其理论基础是信源编码的两个定理. 无失真信源编码定理: 离散信源/数字信号编码的基础; 限失真信源编码定理: 连续信源/模拟信号编码的基础. 信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类. 离散信源编码: 独立信源编码, 可做到无失真编码; 连续信源编码: 独立信源编码, 只能限失真信源编码; 相关信源编码: 非独立信源编码. 第四章 无失真信源编码 引言 第一节 编码器 第二节 码的分类 第三节 等长信源编码定理 第四节 变长码 第五节 变长信源编码定理 第六节 变长码的编码方法 第一节 编码器 编码实质上是对信源的原始符号按一定的数学规则进行的一种变换. 信源编码是指将信源输出符号, 经信源编码器编码后变换成另外的压缩符号, 然后将压缩后的信息经信道传送给信宿. 第一节 编码器 为了简化问题, 研究无失真编码时, 只考虑信源和信宿两个主要因素, 忽略信道编、译码等的影响, 这样通信系统模型变为图4.1所示. 第一节 编码器 所以, 编码是从信源符号到码符号的一种映射. 无失真编码要求这种映射是一一对应的, 可逆的. 第一节 编码器 若把N次无记忆扩展信源的概念加以引申,则可得到N次扩展码.例如求表4.1中码2的二次扩展码 第四章 无失真信源编码 引言 第一节 编码器 第二节 码的分类 第三节 等长信源编码定理 第四节 变长码 第五节 变长信源编码定理 第六节 变长码的编码方法 第二节 码的分类 6、同价码： 每个码符号所占的传输时间都相同. 7、唯一可译码： 对于任意有限的整数N, 其N阶扩展码均为非奇异的; 码的任意一串有限长的码符号序列只能被唯一的译成所对应的信源符号序列. 8、即时码： 无需考虑后续的码符号即可从码符号序列中译出码字的唯一可译码. 第四章 无失真信源编码 引言 第一节 编码器 第二节 码的分类 第三节 等长信源编码定理 第四节 变长码 第五节 变长信源编码定理 第六节 变长码的编码方法 第三节 等长信源编码定理 若要实现无失真编码, 不但要求信源符号si(i=1,2,…,q)与码字Wi(i=1,2,…,q)是一一对应的, 而且要求码符号序列的反变换也是唯一的. 无失真编码要求编码是一一对应的, 译码也是唯一的. 满足这种条件的码称为唯一可译码. 第三节 等长信源编码定理 唯一可译码要求 任意有限长的信源序列所对应的码符号序列各不相同; 即要求码的任意有限长N次扩展码都是非奇异码. 对于等长码来说, 若等长码是非奇异码, 则它的任意有限长N次扩展码一定也是非奇异码. 因此等长非奇异码一定是唯一可译码. 第三节 等长信源编码定理 当r=2(二元码)时, logr=1. 则 说明: 对于二元等长唯一可译码, 每个信源符号至少需要用logq个二元符号来变换. 如果N=1, 则 表示: 对于等长唯一可译码, 每个信源符号至少需要用logq/logr 例: 英文电报 例：对英文电报得32个符号逐个进行二元编码, 即q=32, r=2, N=1, 根据上述关系: 这就是说, 每个英文电报符号至少要用5位二元符号编码才行. 实际上, 5