第五章 无失真信源编码定理.ppt

且 式中 是 对应的码字长度 证明： 定理指出，要做到无失真信源编码，编码每个信源符号所需要的码元数就是信源的熵(以r为底)。 当扩展次数 时，平均码长 达到极限值 。 推广：当信源是平稳遍历的有记忆信源 — 马尔可夫信源时 编码信息率 信道的信息传输率R 而 即 所以 结论：无失真信源编码应使变换(编码)后的码符号信源尽可能为等概分布，以使新信源的每个码符号平均所含的信息量最大，使信源的信息传输率R达到信道容量C，实现信源与信道的理想统计匹配。 编码效率 码的剩余度 例5.4 有一离散无记忆信源 解：H(S)= 0.811 (比特/符号) ①编码 ②对 编码 ④与例5.1 对比 ③ 定长编码与变长编码效率比较 例5.1与例5.4相比：同一个信源，当要求编码效率达到96％时，等长码需要4120万个符号联合编码；变长码只需2个符号（二次扩展信源）联合编码。 结论：采用变长编码，N不需要很大就可以达到相当高的编码效率，而且可以实现无失真编码。且随着N的增大，编码效率越来越接近于1。 作业： 1. 画出唯一可译码的尾随后缀判别法的编程流程图。 2. 使用Matlab或C++语言编程，完成码的唯一可译性判别。 要求： 已知：信源符号个数q, 码字集合C; 输入：任意码C，码字个数和每个具体的码字在程序运行时从键盘输入； 输出：判决结果（是/否 唯一可译码）。 作业： 3. 自己举例，输入码C, 码的唯一性判别程序执行结果。 4. 作业提交 Word文档—— （1）作业题目；（2）算法流程图； （3）程序验证例子；（4）执行结果。 （5）程序使用说明（语言种类，运行环境，应用程序版本号）。 程序源代码—— 作业： 完成时间：布置10天，11月20日之前 提交： yangxiaoping2004@163.com 5.4 等长信源编码定理 5.4.1 等长信源编码定理 5.4.2 平稳有记忆信源的码长 5.4.3 对于编码好坏的评价 5.4.1 等长信源编码定理 — 定理5.3 1、定理内容： 一个离散无记忆信源，熵为 ，信源长为N，码符号 r个，码字 长，对于任意 ，只要满足 则当N足够大时，可实现几乎无失真编码。译码错误概率为任意小。 若 则不能实现无失真编码，而当N足够大时，译码错误概率近似等于1。 比较公式: 一般 ，当信源符号有依赖时， ，所以 得到压缩 2、证明： (1) 整理 错误概率 设 (3) 当二元编码时 ，定理5.3为 等长编码时平均每个信源符号所需要的二元码符号的极限值是H(s)。 (2) 选取的码字总数小于集 中可能有的信源序列数，译码时定会产生错误。当N很长时， 5.4.2 平稳有记忆信源的码长 对平稳有记忆信源： 用 替代定理5.3中的H(s) 无失真编码 不能实现无失真编码 5.4.3 编码的评价 定理5.3 式(1) 表示长为 的码符号载荷的最大信息量大于信源序列携带的信息量时,可实现几乎无失真编码. 式(2) 令 称编码信息率,表示编码后平均每个信源符号能载荷的最大信息量.只有编码信息率大于信源的熵,才能实现几乎无失真编码. 编码效率 编码效率用来衡量编码效果 等长编码的最佳效率 得 表示编码前后平均每个信源符号能载荷的最大信息率之比。 即 在已知方差和信源熵的条件下, 容许错误概率 愈小, 编码效率 愈高, 则信源序列长度N必须愈长. 在实际情况下, 要实现几乎无失真的等长编码, N要大到难以实现的程度. 已知 当允许错误概率小于 时 代入 采用二元编码，要求编码效率 ，允许错误概率 ，求编码长度？ 解: 例5.1 已知离散无记忆信源 当N取4120万以上时，才能按要求实现几乎无失真编码。 因此N有限的等长码往往引入一定的失真和错误。 5.5 变 长 码 5.5.1 唯一可译变长码与即时码 5.5.2 即时码的树图构造法 5.5.3 克拉夫特（kraft）不等式 5.5.4 唯一可译变长码的判别法 1、唯一可译码 5.5.1 唯一可译变长码与即时码 信源si 概率P(si) 码1 码2 码3 码4 s1 1/2 0 0 1 1 s2 1/4 11 10 1