第三章无失真信源编码2要点.pptVIP

1 信息与编码 数学系 菏泽学院 2 主要内容 第1章 绪论 第2章 信源及信源熵 第3章 无失真信源编码 第4章 限失真信源编码 第5章 信道编码 第6章 密码学 3 第3章 无失真信源编码 3.1 编码的定义 3.2 定长编码定理 3.3 变长编码定理 3.4 最佳编码 1.特点：用不同长度的码字序列实现信源符号的编码 2.方法：根据信源符号的不同统计特性，用短码表示大概率符号，长码表示小概率符号，从而在保证信息量的同时降低编码后平均每个信源符号所需要的输出符号数，提高编码效率。 举例：英文字母“e”出现概率较大，约为0.105.对“fee”进行编码时，若用定长编码每个符号需要5比特，消息序列需用15比特。若用变长编码‘e’只需3比特，消息序列远小于10比特。 单个符号变长编码定理： 若一离散无记忆信源的符号熵为H（X），每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式 当m＝2时，单个符号变长编码定理为： 此时码字平均符号信息量与信源熵相差在1比特内。 定理给出了无失真信源编码的最短平均码长，并指出这个最短的平均码长与信源熵H(X)有关。 码字的平均码长不能小于极限值H(X)/logm，否则唯一可译码不存在。平均码长小于上界值时，唯一可译码肯定存在，但并不是说大于这个上界不能够成为唯一可译码，而是因为希望平均码长尽可能短。 2.离散平稳无记忆序列变长编码定理 对于平均符号熵为 的离散平稳无记忆信源，必存在一种无失真编码方法，使平均信息率 满足不等式 其中 为任意小正数。 （香农第一定理） 要实现无失真的信源编码，采用m元码进行编码时， 每个信源符号的平均码长的极限值就是原始信源的 熵值。当编码的平均码长小于信源的熵值，则唯一 可译码不存在，在译码时必然带来失真或差错。同 时还表明通过对扩展信源进行变长编码，当n→∞时， 平均码长可以达到这个极限值。 证明: 设用m进制码元作变长编码，序列长度为L个信源符号，则可以得到平均码字长度 满足下列不等式 当L足够大时，可使 ，这就得到了所需结论 说明: (1) 用变长编码来达到相当高的编码效率，一般所要求的符号长度L可以比定长编码小得多。可得编码效率的下界： (2) 例 用二进制，m＝2，log2m=l，H（X）＝2.55比特／符号，若要求 ，则 (3) 码的剩余度 认为编码效率趋于1时的编码为理论最佳编码，码 的剩余度用来衡量各种编码方法与最佳编码的差 距. 例 设离散无记忆信源的概率空间为 解:其信源熵为 比特/符号 求:编码效率? (1)定长编码 若用二元定长编码（0，1）来构造一个即时码： 这时平均码长为 =1 二元码符号/信源符号 编码效率为(对于离散无记忆信源而言,有HL(X)=H(X) ) 对长度为2的信源序列进行定长编码： 这个码的码字平均长度 单个符号的平均码长 编码效率 L=3,4时， (2)变长编码 假定信源序列的长度为L=2,其即时码如表3-3所示。 这个码的码字平均长度 单个符号的平均码长 编码效率 信源序列长度L 定长编码 变长编码 2 0.811 0.961 3 0.811 0.985 4 0.811 0.991 如果对这一信源采用定长二元码编码，要求编码效率达到96％时，允许译码错误概率 。则根据(3-2-6)式， 自信息的方差 所需要的信源序列长度 2.变长码,L不需太长,则可达到相当高的编码 效率,且可以实现无失真编码,随着L增加,η 越接近1,编码后的信息传输率R也越来越接近 无噪无损二元对称信道的容量,使信道得到充 分的利用。 1.定长码需要信源序列长,且总存在译码差错。 结 论： (1)最佳码定义是什么? 凡是能载荷一定的信息量，且码字的平均长度最短， 可分离的变长码的码字集合都可称为最佳码。 (2)最佳编码思想是什么? 将概率大的信息符号编以短的码字，概率小的符号编 以长的码字，使得平均码字长度最短。 (3)最佳码的编码主要方法有哪些? 香农(Shannon)、费诺(Fano)、哈夫曼(Huffman)编码等。 第四节 最佳编码 香农编码方法又称最佳变长编码方法。 最佳变长编码: 能载荷一定信息量，且码字的平均长度最短，可分