第8讲最佳不等长编码2014.pptVIP

最佳不等长编码 第 8 讲 若一离散无记忆信源的熵为 H(U), 每个信源符 号用 D 进制码元进行不等长编码 , 则一定存在 一种无失真编码方法，其平均码长满足 1 log ) ( log ) ( ? ? ? D U H n D U H 不等长编码定理 1 ) ? Review 对于平均符号熵为 H L ( U ) 的离散平稳无记忆信 源，必存在一种无失真编码方法，使平均码 长满足不等式 1 log ) U ( log ) ( L D H n D U H L L ? ? ? 不等长编码定理 Review 第一次 分组 码字 010 011 10 110 1110 1111 00 第二次 分组 第三次 分组 第四次 分组 0 1 0 0 1 1 0 1 1 0 0 1 信源 符号 概率 p k s 1 s 2 s 3 s 4 s 5 s 6 s 7 0.19 0.18 0.17 0.15 0.10 0.01 0.20 Fano 编码 0 1 0 Fano 编码不能保证编出码字平均码长最短。 最佳编码