第3章无失真信源编码--廖-2013-本科生.ppt

pa(a4)=0.55=(0.1000…)2→1000 pa(a5)=0.65=(0.1010…)2→1010 pa(a6)=0.75=(0.1100)2→1100 pa(a7)=0.84=(0.11010…)2→11010 pa(a8)=0.9=(0.11100…)2→11100 pa(a9)=0.96=(0.11101…)2→11101 ai p(ai) pa(aj) ki 码字 a1 0.25 0 2 00 a2 0.15 0.25 3 010 a3 0.15 0.4 3 011 a4 0.1 0.55 4 1000 a5 0.1 0.65 4 1010 a6 0.09 0.75 4 1100 a7 0.06 0.84 5 11010 a8 0.06 0.9 5 11100 a9 0.04 0.96 5 11101 * 5.2 无失真信源编码 费诺编码方法 费诺编码属于概率匹配编码 (1)将信源消息符号按其出现的概率大小依次排列： (2)将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近于相同，并对各组赋予一个二进制码元“0”和“1”。 * 5.2 无失真信源编码 (3)将每一大组的信源符号进一步再分成两组，使划分后的两个组的概率之和近于相同，并又赋予两个组一个二进制符号“0”和“1”。 (4)如此重复，直至每个组只剩下一个信源符号为止。 (5)信源符号所对应的码字即为费诺码。 复习 简单回顾第二章的主要内容 一、自信息量 确定性 二 三、联合自信息量 四、互信息量 五、平均自信息量（熵） * 5.2 无失真信源编码 * 5.2 无失真信源编码 进行哈夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，以减少再次合并的次数，充分利用短码。 * 5.2 无失真信源编码 哈夫曼码是用概率匹配方法进行信源编码。 哈夫曼码的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码； 缩减信源的最后二个码字总是最后一位不同，从而保证了哈夫曼码是即时码。 r进制哈夫曼编码 考虑 习题：书P3.18 本 章 小 结 本章讨论在不允许失真前提下对信源的编码，分为两种情况，等长编码和变长编码。等长编码定理和变长编码定理分别给出了这两种情况，在无失真和码长尽可能短这两个约束条件下的平均码长的上界和下界。 等长编码定理 记H（X）为单符号信源熵，L为扩展信源输出序列长度，n为码字长度，D为码符号集元素个数，当满足条件 ，则L →∞时，可使译码差错pe δ(ε、δ为 无穷小量)；反之，当 时，则不可能实现无差错编码。 变长编码定理(Shannon第一定理) 记H（X）为单符号信源熵，L为扩展信源输出的序列长度， 为信源每个符号所对应的平均码字数，D为码符号集元素个数，则对信源进行编码，总可以找到一种惟一可译码，使码长满足 平均码长 克拉夫特不等式 本章还介绍了常见的三种变长码的编码方法：香农编码法、Fano编码法和霍夫曼编码法。对于同一信源的编码，三种方法中，以霍夫曼编码的编码效率最高。香农编码法没有太多实用价值，但它在证明变长编码定理时起了重要作用，Fano编码法是遵照变长编码定理（香农第一定理）的指导思想导出的一种编码方法。 作业：书P3.18 复习上次课的内容： 编码器 码的分类 等长编码定理 变长编码定理 (Shannon第一定理) 变长码的编码方法 复习上次课的内容： 码的分类 1.二元码：若码符号集为{0，1}，则码字就是二元序列，称为二元码； 2.等长码：码中所有码字的长度，都相同； 3.变长码：码中的码字长短不一； 4.奇异码：若一组码中有相同的码字，则称为奇异码； 5.非奇异码：若一组码中所有码字都不相同。 6.原码C的N次扩展码 7.惟一可译码：如果码的任意N次扩展码都是非奇异码，则称该码为惟一可译码。 8.即时码:无需考虑后续的码符号就可以从码符号序列中译出码字，这样的唯一可译码称为即时码。 9.同价码：每个码符号所占的传输时间都相同的码。 10.分组码将信源符号集中的每个信源符号 固定地映射成一个码字 Wi，这样的码称为分组码。 定理3.1 等长编码定理 设离散无记忆信源S ={x1 ，x2 ，…，xk} 的熵为H（X），S的L维扩展信源为 ，对信 源输出的L长序列si ，i = 1, 2, …, KL 进行等长编码，码字是长度