信息论与编码-第5章解析.ppt

5.2 无失真信源编码 5.3 限失真信源编码定理 前一节讨论的无失真信源编码是属于保熵编码 本节将要讨论的限失真信源编码属于熵压缩编码 其中心任务是：在允许的失真范围内把编码后的信息率压缩到最小 引入有失真的熵压缩编码的原因： (1)保熵编码并非总是必需的； (2)保熵编码并非总是可能的； (3)降低信息率有利于信息的传输和处理，因此有必要进行熵压缩编码，尤其是对于连续信源，熵压缩编码就是必需的了 5.4 常用信源编码方法简介 实用化技术不同于单纯理论探讨；实用技术不是只追求理论上的性能（如：压缩比），还要考虑工程上的可实现性 为了与复杂的实际信源统计匹配，实际的信源编码方法往往都不是单一的方法，而是多种方法的组合应用 本节简单介绍几种常用的信源编码方法 5.4 常用信源编码方法简介 5.4.3 矢量量化编码 5.4.4 预测编码 5.4.5 变换编码 （略） 第5章 复习 信源编码的主要任务：由于信源符号之间存在分布不均 匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率 第5章 习题 习题 5-1 (p.115) 习题 5-10 (p.116)中(1),(2) 习题 5-11 (p.116)中(1),(2),(3) 5.4 常用信源编码方法简介 设起始状态为空序列?，则 A(?)＝1，C(?)＝0 递推得 5.4 常用信源编码方法简介 C(abda)即为编码后的码字010111 5.4 常用信源编码方法简介 A(?) A(a) a b c d A(a,b) a b c d a b c d A(a,b,d) C(?) 0(Pa) pa Pb pb Pc pc Pd pd 1 C(0) C(a,b,d) C(a,b) 算术编码过程还可用单位区间的划分来描述 5.4 常用信源编码方法简介 译码： 可通过对编码后的数值大小进行比较，即判断C(S) 落在哪个区间就可以得出一个相应的符号序列 C(abda)=0.0101110.1?[0,0.1] ，第一个符号为a 放大至[0,1](×pa-1)：C(abda)×21＝0.10111?[0.1,0.110] 第二个符号为b 去掉累积概率Pb： 0.10111-0.1=0.00111 放大至[0,1](×pb-1)： 0.00111×22=0.111 ?[0.111,1] 第三个符号为d 去掉累积概率Pd： 0.111-0.111=0 放大至[0,1](×pd-1)：0×24＝0 ?[0,0.1] 第四个符号为a 5.4 常用信源编码方法简介 算术编码从性能上看具有许多优点，特别是由于所需的参数很少，不象哈夫曼编码那样需要一个很大的码表，常设计成自适应算术编码来针对一些信源概率未知或非平稳情况。 但是在实际实现时还有一些问题，如计算复杂性、计算的精度以及存储量等，随着这些问题的逐渐解决，算术编码正在进入实用阶段，但要扩大应用范围或进一步提高性能，降低造价，还需进一步改进。 码 奇异码 非分组码 分组码 非奇异码 非唯一可译码 非即时码 即时码(非延长码) 唯一可译码 唯一可译码存在的充分和必要条件是各码字的长度Ki （码元个数）应符合克劳夫特不等式 第5章 复习 编码效率 无失真信源编码定理（Shannon第一编码定理） 定长编码定理 变长编码定理 三种无失真信源编码：Shannon编码，Fano编码，Huffman 编码 限失真编码定理（Shannon第三编码定理） 几种常见信源编码方法：游程编码，冗余编码，算术编码 5.2 无失真信源编码 编码效率为 输出的信息率为 R＝0.811 比特/二元码符号 长度为2的信源序列进行变长编码（编码方法后面讨论），其即时码如下表 ai p(ai) 即时码 a1a1 9/16 0 a1a2 3/16 10 a2a1 3/16 110 a2a2 1/16 111 5.2 无失真信源编码 二元码符号/信源序列 二元码符号/信源符号 码字平均长度为 每个符号的平均码长为 编码效率 信息效率 R2＝0.961 比特/二元码符号 5.2