第三章无失真信源编码2资料.pptVIP

单个符号变长编码定理： 若一离散无记忆信源的符号熵为H（X），每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式 2.离散平稳无记忆序列变长编码定理 对于平均符号熵为 的离散平稳无记忆信源，必存在一种无失真编码方法，使平均信息率 满足不等式 要实现无失真的信源编码，采用m元码进行编码时， 每个信源符号的平均码长的极限值就是原始信源的 熵值。当编码的平均码长小于信源的熵值，则唯一 可译码不存在，在译码时必然带来失真或差错。同 时还表明通过对扩展信源进行变长编码，当n→∞时， 平均码长可以达到这个极限值。 证明: 设用m进制码元作变长编码，序列长度为L个信源符号，则可以得到平均码字长度 满足下列不等式 说明: (1) 用变长编码来达到相当高的编码效率，一般所要求的符号长度L可以比定长编码小得多。可得编码效率的下界： (3) 码的剩余度 例 设离散无记忆信源的概率空间为 (1)定长编码 若用二元定长编码（0，1）来构造一个即时码： 这时平均码长为 =1 二元码符号/信源符号 编码效率为(对于离散无记忆信源而言,有HL(X)=H(X) ) (2)变长编码 假定信源序列的长度为L=2,其即时码如表3-3所示。 第四节 最佳编码 (1)最佳码定义是什么? 凡是能载荷一定的信息量，且码字的平均长度最短， 可分离的变长码的码字集合都可称为最佳码。 (2)最佳编码思想是什么? 将概率大的信息符号编以短的码字，概率小的符号编 以长的码字，使得平均码字长度最短。 (3)最佳码的编码主要方法有哪些? 香农(Shannon)、费诺(Fano)、哈夫曼(Huffman)编码等。 香农编码方法又称最佳变长编码方法。 最佳变长编码: 能载荷一定信息量，且码字的平均长度最短，可分离 的变长码的码字集合。 对于某一信源和某一码元集来说，如果有一个唯一可 译码的平均码长不大于其他的唯一可译码的平均码长 ，则称此码为最佳码或称为紧致码。 最佳码两个特点： 1.概率大的符号对应于短码，概率小的对应于长码，充分利用了短码； 2.对于二元最佳码，所对应的缩减信源的两个最小概率的信源符号所对应的码字具有相同的码长，且总是最后一位不同，保证是即时码。 最佳变长编码的方法主要有： 香农（Shannon）、费诺（Fano）、 哈夫曼（Huffman）编码等。 香农编码方法 step2：以排序后i=4为例 说明: (1)该信源7个码字都不是延长码，它们都属于即时码。故是唯一可译码。 (2)信源符号的平均码长 码元/符号 费诺码的平均码长 ? 信息传输速率 哈夫曼编码 编码方法 1952年，哈夫曼提出了一种构造最佳码的方法。所得 的码字是即时码，而且在所有唯一可译码中，它的平 均码长最短，是一种最佳变长码。 说明: 哈夫曼码的平均码长为 ? 信息传输速率 问题:为何哈夫曼编码方法得到的码并非是唯一的? (1)每次对信源缩减时，赋予信源最后两个概率最小的符号，用0和1是可以任意的，所以可以得到不同的哈夫曼码，但不会影响码字的长度。 问题:为何哈夫曼编码方法得到的码并非是唯一的? 例 设有离散无记忆信源 0.4 0.4 0.4 0.6 1.0 0.2 0.2 0.4 0.4 0.2 0.2 0.2 0.1 0.2 0.1 哈夫曼码是用概率匹配方法进行信源编码。 哈夫曼码的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码； 缩减信源的最后二个码字总是最后一位不同，从而保证了哈夫曼码是即时码。 工程上注意的三个问题 上面讨论了哈夫曼编码的方法和一些性质，在实际问题中真正应用哈夫曼编码方法时，还需进一步研究有关误差扩散，速率匹配和概率