信息论 第五章.pptVIP

是高概率集，它含有序列数 常常比非典型序列数要少很多。 所有信源序列 非 典型序列集 典型序列集 结论：只对少数的高概率 典型序列进行一一对应的等长编码。码字总数减少，所需码长就可以减少了。 第二十九页，共六十五页，2022年，8月28日 AEP结论： 当N足够大时 所有 典型序列出现的概率近似相 等. 2. 可粗略认为 典型序列出现的概率为 3. 所有 典型序列的概率和接近为1, 第三十页，共六十五页，2022年，8月28日 5.4 等长信源编码定理 5.4.1 等长信源编码定理 5.4.2 平稳有记忆信源的码长 5.4.3 对于编码好坏的评价 第三十一页，共六十五页，2022年，8月28日 5.4.1 等长信源编码定理 — 定理5.3 1、定理内容： 一个离散无记忆信源，熵为 ，信源长为N，码符号 r个，码字 长，对于任意 ，只要满足 则当N足够大时，可实现几乎无失真编码。译码错误概率为任意小。 若 则不能实现无失真编码，而当N足够大时，译码错误概率近似等于1。 第三十二页，共六十五页，2022年，8月28日 比较公式: 一般 ，当信源符号有依赖时， ，所以 得到压缩 2、证明： (1) 整理 错误概率 第三十三页，共六十五页，2022年，8月28日 设 (3) 当二元编码时 ，定理5.3为 等长编码时平均每个信源符号所需要的二元码符号的极限值是H(s)。 (2) 选取的码字总数小于集 中可能有的信源序列数，译码时定会产生错误。当N很长时， 第三十四页，共六十五页，2022年，8月28日 5.4.2 平稳有记忆信源的码长 对平稳有记忆信源： 用 替代定理5.3中的H(s) 无失真编码 不能实现无失真编码 第三十五页，共六十五页，2022年，8月28日 5.4.3 编码的评价 定理5.3 式(1) 表示长为 的码符号载荷的最大信息量大于信源序列携带的信息量时,可实现几乎无失真编码. 式(2) 令 称编码信息率,表示编码后平均每个信源符号能载荷的最大信息量.只有编码信息率大于信源的熵,才能实现几乎无失真编码. 第三十六页，共六十五页，2022年，8月28日 编码效率 编码效率用来衡量编码效果 等长编码的最佳效率 得 表示编码前后平均每个信源符号能载荷的最大信息率之比。 第三十七页，共六十五页，2022年，8月28日 即 在已知方差和信源熵的条件下, 容许错误概率 愈小, 编码效率 愈高, 则信源序列长度N必须愈长. 在实际情况下, 要实现几乎无失真的等长编码, N要大到难以实现的程度. 已知 当允许错误概率小于 时 代入 第三十八页，共六十五页，2022年，8月28日 采用二元编码，要求编码效率 ，允许错误概率 ，求编码长度？ 解: 例5.1 已知离散无记忆信源 第三十九页，共六十五页，2022年，8月28日 当N取4120万以上时，才能按要求实现几乎无失真编码。 因此N有限的等长码往往引入一定的失真和错误。 第四十页，共六十五页，2022年，8月28日 5.5 变 长 码 5.5.1 唯一可译变长码与即时码 5.5.2 即时码的树图构造法 5.5.3 克拉夫特（kraft）不等式 第四十一页，共六十五页，2022年，8月28日 1、唯一可译码 5.5.1 唯一可译变长码与即时码 信源si 概率P(si) 码1 码2 码3 码4 s1 1/2 0 0 1 1 s2 1/4 11 10 10 01 s3 1/8 00 00 100 001 s4 1/8 11 01 1000 0001 表 5.4 奇异码 非唯一可译码 非即时码 即时码 第四十二页，共六十五页，2022年，8月28日 （1）在唯一可译变长码中，译码时无需参考后续的码符号就能立即作出判断，译成对应的信源符号，这类码称为即时码 结构特点： 即时码：码字不是其它码的前缀或延长 非即时码：某些码字是其它码的前缀 或延长。 2、即时码 第四十三页，共六十五页，2022年，8月28日 （2）在译码过程中，当收到一个完整的码符号序列时，无需等待下一个符号到达后作判断，而能直接译成对应的信源符号。 3、码的分