西安电子科技大学信息论与编码理论（专题讨论型）课件第八章 最佳不等长编码.pptVIP

速率匹配问题 误差扩散问题 概率匹配问题 Huffman编码实际应用中的问题 令离散无记忆信源 (a) 求对U（即U1）的最佳二元码、平均码长和编码效率。 (b) 求对U2 （即U1U2）的最佳二元码、平均码长和编码效率。 (c) 求对U3 （即U1U2U3 ）的最佳二元码、平均码长和编码效率。 例 a1a1a1 a1a1a2 a1a2a1 a2a1a1 a1a1a3 a1a3a1 a3a1a1 a1a2a2 a2a1a2 0.125 0.075 0.075 0.075 0.050 0.050 0.050 0.045 0.045 a2a2a1 a1a2a3 a1a3a2 a2a1a3 a3a1a2 a2a3a1 a3a2a1 a2a2a2 a1a3a3 0.045 0.030 0.030 0.030 0.030 0.030 0.030 0.027 0.020 a3a1a3 a3a3a1 a2a2a3 a2a3a2 a3a2a2 a2a3a3 a3a2a3 a3a3a2 a3a3a3 0.020 0.020 0.018 0.018 0.018 0.012 0.012 0.012 0.008 U1U2U3 扩展信源、数据压缩 本节小结 常见不等长编码方法 Huffman编码 Fano编码 （本节内容见课本69-73页） Shannon编码 Huffman编码 最佳码 编码方法 （二元编码、r元编码、扩展源编码） 应用 作 业 3.5 3.6(a)(b) 3.9 3.11 3.13 最佳不等长编码 第八讲 若一离散无记忆信源的熵为H(U),每个信源符号用D进制码元进行不等长编码,则一定存在一种无失真编码方法,构成唯一可译码，其平均码长满足 不等长编码定理 Review 对于平均符号熵为HL(U)的离散平稳无记忆信源，必存在一种无失真编码方法，使平均码长满足不等式 不等长编码定理 Review 最佳不等长编码 Shannon编码 对信源符号按概率从大到小排序 计算码长 计算累加概率 写出对应的二进制数 码字 例1： 设离散无记忆信源 试对其进行二元Shannon编码。 Shannon编码 累加概率 累加概率对应的二进制数 码字 信源符号 概率pk s1 s2 s3 s4 s5 s6 s7 0.19 0.18 0.17 0.15 0.10 0.01 0.20 0.20 0.39 0.57 0.17 0.89 0.99 0 0.0011??? 0.0110??? 0.1001??? 0.1011??? 0.1110??? 0.1111110??? 0.000 码长nk 2.41 2.48 2.56 2.74 3.34 6.66 2.34 3 3 3 3 4 7 3 001 011 100 101 1110 1111110 000 000 3 3 001 s1 s2 Shannon编码 信源符号 s1 s2 s3 s4 s5 s6 s7 码字 001 011 100 101 1110 1111110 000 s1 s2 s3 s4 s5 s6 0 0 0 0 0 0 1 1 1 1 1 1 1 1 s7 0 1 1 s7 当满足 时最佳 第一次 分组 码字 010 011 10 110 1110 1111 00 第二次 分组 第三次 分组 第四次 分组 0 1 0 0 1 1 0 1 1 0 0 1 信源符号 概率 pk s1 s2 s3 s4 s5 s6 s7 0.19 0.18 0.17 0.15 0.10 0.01 0.20 Fano编码 0 0 1 0 s1 s2 s3 s4 s5 s6 s7 0 0 0 0 0 0 1 1 1 1 1 1 s2 s4 s2 s4 s1 s2 s3 s4 s5 s6 0 0 0 0 0 0 1 1 1 1 1 1 1 1 s7 0 1 1 Shannon码 Fano码 （P2=0.19） （P4=0.17） 第一次 分组 码字 010 011 10 110 1110 1111 00 第二次 分组 第三次 分组 第四次 分组 0 1 0 0 1 1 0 1 1 0 0 1 信源符号 概率 pk s1 s2 s3 s4 s5 s6 s7 0.19 0.18 0.17 0.15 0.10 0.01 0.20 Fano编码 当满足 时最佳 码字 11 000 001 010 0110 0111 10 0.11 0.26 0 1 0 1 0.35 0 1 0.39 0.61 0 1 0 1.00 0 1 1 信源符号 概率pk s1 s2 s3 s4 s5 s6 s7 0.19 0.18 0.17 0.15 0.10 0.0