第三节 无失真信源编码.pptVIP

一、信源编码概述 1.离散信源信源编码的目的和模型 目的： ①把信源发出的消息(单个符号消息和符号序列消息)变换成由信道基本符号构成的代码组(称为码字)，以使得消息能在编码信道上传输 ②尽量减小代码组的平均长度，以提高信道传输消息的有效性 第三章 无失真信源编码 信源发出单符号消息时，信源编码器模型如下图所示。信源编码器有二个输入端。其中一个输入端为信源发出的N个单符号消息，另一个输入端输入D种信道基本符号。信源编码器有一个输出端，输出代码组，代码组是一个信道基本符号序列(码元序列)如果信源编码器输出等长代码组，且其长度为n个信道基本符号,那么代码组Si是n维矢量。不同代码组数目Dn应至少为信源的不同符号数目N，即要有 Dn≥N 的条件 信源发出K重序列消息时，信源编码器的模型如下图，设信源X中有M种不同的符号，即X＝{X1，X2，…，Xm }，那么K重符号序列消息的的数目N＝MK，此为K维矢量 二进制信道是一种常用的信道，它的信道基本符号为0和1两种。下图为二进制信源编码器 凡是能把信源发出的所以消息都一一对应地变换成相应代码组的信源编码器称为正规编码器。这种编码器不会损失信息量，故可以把信源和正规编码器合并在一起，看作一个等效信源，等效信源的熵与原信源熵相等 2.消息在编码信道上的信息传输速率 下面我们的讨论，假设信源编码器为正规编码器，等效信源的熵等于原信源熵 ①等长代码组的信息传输速率 对于发出单符号消息，若信源编码器输出的代码组含b个码元，则代码组消息在编码信道上的信息传输速率R为: 信源编码器输出的代码组 等长代码组 不等长代码组 bit/码元时间 对于K重符号序列消息(包含有记忆序列和无记忆序列)，设代码组包含B个码元，则信息传输速率R为： ②不等长代码组的信息传输速率 此时需先求代码组的平均长度 对于单符号消息，设有N个符号消息X1，X2，…，XN输入，它们的出现概率分别为P1， P2，…，PN，各自对应的代码组长度又分别为b1，b2，…，bN，则平均长度为： 所以，信息传输速率R为： bit/码元时间 [码元/符号] bit/码元时间 对于K重符号序列消息，设有N个K重符号序列X1，X2，…，XN输入，它们的出现概率分别为P1， P2，…，PN，各自对应的代码组长度又分别为B1，B2，…，BN，则平均长度为： 所以，信息传输速率R为： 对于无记忆信源，有： [码元/符号序列] bit/码元时间 bit/码元时间 3.信源编码的编码效率 信源编码器的作用——使各个代码组的长度分布与信源中各 个消息的概率分布达到统计匹配 信源编码器的实质——通过合适的信源编码方法可使消息在  信道上信息传输速率尽量接近信道容  量，这样使编码效率尽量接近于1 编码效率η定义为信息传输速率与信道容量C的比值，即 η＝ R/C 信道容量是在传输消息不产生失真条件下，信道允许的最大信息传输速率 信道容量C定义为： C ＝ log2 D bit/码元时间 对于二进制均匀编码信道，D＝2，则 C＝1 bit/码元时间 对于单符号消息有： 对于K重符号序列消息有： 对于二进制均匀编码信道，又对于离散无记忆信源有： 4.最佳编码 定义——凡能保证传输一定的信息量，而代码组的平均长度  为最小的编码方法 采用原则： ①把信源符号集合中出现概率大的编成长度较小的代码组 把信源符号集合中出现概率小的编成长度较大的代码组 ②在代码组的序列中不必使用间隔就能把代码组序列逐个分  成代码组 对于一个码，若由该码的码字组成的任意有限长码字序列都能恢复成惟一的信源序列，则称该码为惟一可译码，其存在的充要条件是满足Kraft不等式： 例：四个非延长码组， 观察这四个代码组可知，最后一个码元为0，起逗号作用，见到码元0，表明代码组结束 若有二进制序列 (1 1 0 1 0 1 1 1 0 0 1 1 1 0 0 1 1 0 1 0 1 1 1 0) 它所对应原消息序列(X3，X2，X4，X1，X4，X1，X3，X2，X4) 例：设有延