第5(8)章 无失真信源编码定理(OK).pptVIP

第5章 无失真信源编码定理 5.1 信源编码概论--基本概念 传输之前的两次变换：信源编码、信道编码。传输之后的两次反变换，变换与反变换是成对出现的。 讨论无失真信源编码可以先不考虑抗干扰问题，因此，图中虚框部分可近似地视为一个等效的无噪信道，这一点是我们讨论信源编码的前提。 5.1 信源编码概论--基本概念 信源编码分类：无失真编码、有失真编码。 无失真编码：只对信源的冗余度进行压缩，不会改变信源的熵，又称冗余度压缩编码，它能保证码元序列经译码后能无失真地恢复成信源符号序列。 有失真编码：又称熵压缩编码，将在第7章讨论。 码长li ：码字wi 所含码元的个数。单位：码元/符号，r进制单位/符号。 等长码(FLC，Fixed Length code) ：码中所有码字均有相同的码长l ；否则称为变长码(VLC，Variable Length code)。 平均码长： 例：编码 3、编码器的输出 4、编码效率 5.2 码的唯一可译性 f为一一对应的变换只是无失真编码的必要条件，并不充分; 要保证将码元序列无失真地恢复成信源符号序列，还要求编出的码自身具有独特的结构。 有实用价值的码应该具有唯一可译性，即能从码字序列（也是码元序列）唯一地恢复成信源符号序列。 1、唯一可译码（UDC，Uniquely Decodable Code） 唯一可译码（UDC）：该码的码字组成的任意有限长码字序列都能恢复成唯一的信源序列。否则称为非唯一可译码。 码是唯一可译码的充分必要条件是：由码中的码字组成的任意有限长的码字序列（也是码元序列），都能唯一划分成一个个的码字，且任一码字只与唯一一个信源符号对应。 奇异码：含相同码字的码称奇异码。否则称为非奇异码。 5.2 码的唯一可译性 5.2 码的唯一可译性 5.2 码的唯一可译性 2、码树 码树从树根开始向上长出树枝，树枝代表码元，树枝与树枝的交点叫做节点 。 r进制码树：码元个数为r，各节点（含树根）向上长出的树枝数不大于r。 l阶节点：经过l 根树枝才能到达的节点。 终端节点或端点：向上不长出树枝的节点。 码字：与码树上的节点对应，组成该码字的码元就是从树根开始到该节点所经过的树枝（或码元）。 非延长码：所有码字均处于终端节点，即端点上。 整树：r进制码树各节点（包括树根）向上长出的树枝数均等于r。 不满足Kraft不等式的码肯定不是非延长码； 满足Kraft不等式的码也不一定是非延长码； 根据满足Kraft不等式的码长集合可构造出一个非延长码； 上述定理对唯一可译码仍然成立。 5.3 等长编码定理和等长编码方法 2、等长编码定理 3、等长编码方法（例） 5.4 变长编码定理(香农第一定理 ) 5.5 变长编码方法 变长编码采用非延长码； 力求平均码长最小，此时编码效率最高，信源的冗余得到最大程度的压缩； 对给定的信源，使平均码长达到最小的编码方法称为最佳编码，编出的码称为最佳码； 三种变长编码方法：霍夫曼编码、费诺编码以及香农编码 ； 霍夫曼编码是真正意义下的最佳编码 。 1、霍夫曼编码 二进制霍夫曼编码过程如下： （1）将信源符号按概率大小排序； （2）对概率最小的两个符号求其概率之和，同时给两符号分别赋予码元“0”和“1”； （3）将“概率之和”当作一个新符号的概率，与剩下符号的概率一起，形成一个缩减信源，再重复上述步骤，直到“概率之和”为1为止； （4）按上述步骤实际上构造了一个码树，从树根到端点经过的树技即为码字。 霍夫曼编码的基本特点 编出的码是非延长码：霍夫曼编码实际上构造了一个码树，码树从最上层的端点开始构造，直到树根结束，最后得到一个横放的码树。 平均码长最小：霍夫曼编码采用概率匹配方法来决定各码字的码长，概率大的符号对应于短码，概率小的符号对应于长码。 码字不唯一：每次对概率最小的两个符号求概率之和形成缩减信源时，就构造出两个树枝，由于给两个树枝赋码元时是任意的，码字不唯一。 等长编码与变长编码冗余压缩效果比较 r进制霍夫曼编码 每次求缩减信源时，求r个最小概率之和，即将个概率最小的r符号缩减为一个新符号，直到概率之和为1终止。 新问题：缩减到最后时剩下不到r个符号了。 为保证平均码长最小，希望缩减到最后刚好还剩下r个符号。为达到此目的，可给信源添加几个无用的符号（概率为0的符号），使得信源符号数q满足: q=(r-1)θ+r 符号串的霍夫曼编码 2 、费诺（Fano）编码 费诺（Fano）编码也是构造一个码树，因此，编出的码是非续长码，但不一定是最佳码。 费诺编码步骤(以二进制编码为例)： （1）将信源符号按概率从大到小的排序； （2）将信源符号分成2组，使2组信源符号的概率之和近似相等，并给2组信源符号分别赋码元“0”和“1”； （3