最火最好看的老朋友说说总结.ppt

第5章 信 源 编 码 5.1 无失真信源编码 *5.2 限失真信源编码定理 *5.3 矢量量化编码 5.4 预 测 编 码 5.5 变 换 编 码 5.6 传 真 编 码 5.7 语音压缩编码 5.8 图 像 编 码 5.1 无失真信源编码 离散信源的无失真编码实质上是一种统计匹配编码。信息论指出信源中的统计多余度主要决定于以下两个主要因素：一是消息概率分布的非均匀性，另一个是消息间的相关性。对无记忆信源主要决定于概率分布的非均匀性，但是，对于有记忆信源，两者都起作用，且后者相关性更加重要。 统计匹配编码是根据信源的不同概率分布而选用与之相匹配的编码，以达到在系统中传信速率最小，且满足在信宿复制时无失真或低于某一允许的失真限定值。 下面，我们首先研究这类离散、无失真、无记忆信源编码的一般模型，并研究在它基础上应如何编码，从而引出定长和变长两类编码方法。 5.1.1 等长编码定理 很多学者深入地研究了离散、随机序列信源的统计特性，仙农(1948)首先发现，后来麦克米伦(1953)和沃尔夫兹(1961)进一步严格证明，这类信源具有渐近等同分割性，或简称为A.E.P(Asymptotic Equipatition Property)。它的基本思想是，一个总数为nL种的消息序列信源随着消息序列长度L的增长且足够大时，越来越明显产生两极分化现象。 可见，在差错率Pe和编码效率要求并不十分苛刻的条件下，对这一简单信源就需要近一百万个信源符号进行联合编码，这显然是不现实的。因此，为了解决这一个问题，人们就很自然地转向于对变长编码的研究。 5.1.2 变长编码定理 等长编码需要取很大数量的符号一起编码，显然不现实，倘若采用变长编码，情况就大不一样了。若仍用上述最简单的离散信源的例子，作变长编码如下，至于具体编码方法后面将进一步讨论。 可见，若采用上述变长码，即使采用逐位编码(L=1)效率可达100%，这里虽然是一个特例，不过一般情况下效率都可达到很高。显然它大大优于等长编码。 一、 码树与码字(组)可分离条件 这里，引入较直观的“码树”的概念，并仍结合表5-1-1中的码字(组)来进一步解释和说明。 码树是图论中的一个分支，又称为树图。码树编码法是将编码方法形象化为一棵生成的树。树有树根、树枝、节点、端点、节数，并有满树与非满树之分。 从图5-1-1上看，要构造出在接收端可分离的变长码，只要满足被选用的码字必须为异前置码。在比较简单的信源，我们可以很方便地用这种码树的方法直接且直观地构造可分离码，但是，一当信源较复杂比如信源含有很多消息(符号)，直接画码树就比较复杂。 二、 变长编码定理 有了上述讨论的基础，我们下面给出指导构造变长码的不同类型信源的信源编码定理。它给出了变长码的平均码长应该满足的条件。 首先讨论单个消息(符号)信源的变长编码定理，它是最简单也是最基本的变长编码定理。 定理5-1-4：对于平均消息(符号)熵为H(U)的离散、平稳、无记忆信源，必存在一种无失真编码方法，使平均每个消息(符号)的信息率R满足不等式： H(U)≤R＜H(U)+ε 其中ε为任意正数。 5.1.3 最佳变长编码 —哈夫曼编码 1952年，哈夫曼给出一种编码方法，所得的码字是异前置的变长码，其平均码长最短，称它为最佳变长码，又称哈夫曼码。1956年，戈罗伯对它进行了改进，使之更便于实用。 其具体编码方法如下： (1) 将信源消息(符号)按概率大小顺序排队； (2) 从最小概率的两个消息开始编码，并给予一定的编码规则，如小概率的下支路编为1(或0)，大概率的上支路编为0(或1)，若两者概率相等，仍是下支路为1上支路为0； (3) 将已编码的两个消息对应概率合并，并重新按概率大小排队，重复步骤(2)； (4) 重复步骤(3)，直至合并概率归一时为止； (5) 编成的变长码是按后出先编方式，即从概率归一的树根沿编码路线逆行至对应的消息，如u3为“110”。 首先是误差扩散问题，由于哈夫曼码是一类无失真信源最佳变长码，这就是说在研究这类无失真信源编码时认为信道传输是理想的，是不产生差错的，然而实际信道中总是存在噪声的，噪声引入后必然要破坏变长码的结构。同时由于变长码是不加同步的码，无法自动清洗所产生的影响，所以必然要产生误差的扩散，这就是说噪声所影响的不仅是被干扰的码元，而是一直要扩散下去影响后面的一系列码元。 以至在低信噪比下无法正常工作。目前对这类误差扩散还没有特别有效的克服方法，在工程上一般哈夫曼码只能适合于高信噪比的优质信道，比如误码率低于10-6以下，以减小误差扩散所带来的影响。同时工程上还常常采用定期清洗，比如在文件和报纸传真中就采用按行清洗的方式，以牺牲编码效率来达到限制误差扩散的目的。另