[2018年最新整理]7-第七讲变长信源编码定理.pptVIP

* * 变长信源编码定理 7－1 变长信源编码定理 7－2 Huffman编码 第七讲 对信源输出的消息（一个符号或者一串符号）采用不同长度的码字表示，则这种编码方法叫做变长编码。一般应使出现概率大的消息用较短的码字表示，出现概率小的消息用较长的码字表示，这样将会提高编码效率。 设信源有q个符号，第 i 个消息以长为 li 的 r－元码表示，当信源为无记忆时，平均每个信源号所需的码长为平均码长： 7－1 变长信源编码定理 1、基本概念 信源符号集 概率 码A 码B 码C 码D a1 a2 a3 a4 0.5 0.25 0.125 0.125 0 0 1 10 0 1 00 11 0 10 110 111 0 01 011 0111 码A于信源字母集不是一一对应的； 码B虽然与信源字母集一一对应，但仍不是唯一可译的； 码C和码D是唯一可译的。 变长码与定长码的优缺点：同步、译码延时、效率方面。 唯一可译：对每个有限长的信源序列，相应的码字序 列彼此都可无疑义地区分开。 逗点码： 码中各码字都有一特定符号或符号组用以 指示码字地起始点。否则为无逗点码。 上表中码D是一种逗点码，码C是无逗点码。 字头（前缀）：对于码字为码字的字头或前缀。 异字头码：码中任何一个码字都不是另一个码字的字头。 （即时码） 或称异前缀码。码C是异字头码，码D不是。 异字头条件保证这类码的唯一可译性。并且还有即时性，收到哪个码就可译码，无译码延时。而对于码D译码时必须在观察到下一个逗点时才能译码。 各类码的包含关系： 即时码 非奇异码 （码字都不同） 所有的码 唯一可译码 2、Shannon-Fano编码方法： （异字头条件码－树码） 对于 r －元树，最顶部的起始点为树根，自树根向下有 r 个分支，各个分支的端点为一级节点，二级节点最多可能有r2，一般 l 级节点有 rl 个。若将从每个节点出发的r个分支分别标以0，1，2，，…，r－1，则每个l 级节点需要用 l 个 r－元数字表示（也即从树根到该节点的路径）。 根 分支 C1=0 C4=12 C5=20 C6=21 C7=220 C8=221 C9=222 C2=10 C3=11 若指定某个 l 级节点表示一个消息，则该节点不再向下延伸，其长度为 l ，此节点称为端节点。这样的得到的码就能保证异字头条件。如果有K个消息，就在树上选择K个端节点，相应的r元数字即为码字。这样输出的码称作树码，相应的图称作码树，如果码树的各分支都延伸到最高级端点，就称为满树。否则为非满树。 我们希望选出的码集合平均长度最小。为此希望码序列的任一符号承载的信息量最大，我们可使从每个节点的r 种可能的分支出现的概率近似相等，这将给出一种近似最佳的编码方法。 1 2 2 2 2 2 3 3 3 0 10 11 12 20 21 220 221 222 0(1/27) 1(1/27) 2(1/27) 0(1/9) 1(1/9) 2(1/9) 0(1/9) 1(1/9) 2(1/9) 0(1/3) 1(1/3) 2(1/3) 1/3 1/9 1/9 1/9 1/9 1/9 1/27 1/27 1/27 a1 a2 a3 a4 a5 a6 a7 a8 a9 码长 指定 码组 第三次划分 第二次划分 第一次划分 概率 消息 Kraft不等式： （异字头条件码存在的充分必要条件）： 长度为 的 r 元异字头码存在的充要条件是： 证明： （1）必要性： 即时码满足上式。 最低层 N 阶的分支数为 第 i 阶节点作为码字后，不能伸出分支数 共 q 个码字，总不能伸出的分支数 （2）充分性：不等式意味着存在即时码 构造码树： 码字最后节点的阶的节点数 码树分配 长 码字 ， 阶中剩下的节点 依次类推。分配完 阶后还剩余的节点为 码树再分配 码字 ， 阶中剩下的节点 定理：唯一可译码必满足Kraft不等式。 推论：任一唯一可译码可用各相应码长度一样的异字头码 代替