第三章 无失真信源编码2 2.pptVIP

例：已知信源 X 的概率空间， 用霍夫曼编码方法找出各消息的代码组，并计算编码效率 η 。 解 1 ： X ， P(X) ＝ X 1 ， X 2 ， X 3 ， X 4 ， X 5 0.4 ， 0.1 ， 0.2 ， 0.2 ， 0.1 0.1 0.2 0.2 0.1 0.4 x 1 x 3 x 4 x 2 x 5 0 1 0 1 1 1 0 0 1.0 101 11 01 100 00 3 2 2 3 2 0.2 0.4 0.6 由题意可得： 122 . 2 1 . 0 log 1 . 0 2 2 . 0 log 2 . 0 2 4 . 0 log 4 . 0 ) ( log ) ( ) ( 2 2 2 5 1 ? ? ? ? ? ? ? ? ? ? ? i i i x P x P X H bit/ 符号 5 1 0.4 2 0.2 2 2 0.1 3 2 2.2 i i i P ? ? ? ? ? ? ? ? ? ? ? ? Ｋ Ｋ [ 码元 / 符号 ] ( ) 2.122 0.9645 2.2 H X R ? ? ? Ｋ bit/ 码元 % 45 . 96 ? ? 解 2 ： 0.1 0.2 0.2 0.1 0.4 x 1 x 3 x 4 x 2 x 5 0 1 0 0 0 1 1 1 1.0 1101 0 10 1100 111 4 1 2 4 3 0.2 0.4 0.2 0.6 5 1 0.4 1 0.2 2 0.2 3 0.1 2 4 2.2 i i i P ? ? ? ? ? ? ? ? ? ? ? ? ? Ｋ Ｋ [ 码元 / 符号 ] ? ? ? ? ? ? 5 1 2 2 2 ) )( ( ] ) [( i i i i K K x p K K E ? 定义码字长度的方差 σ 2 ： 2 2 2 2 2 2 0.4(1 2.2) 0.2(2 2.2) 0.2(3 2.2) 0.1(4 2.2) 2 1.36 ? ? ? ? ? ? ? ? ? ? ? 2 2 2 2 1 0.4(2 2.2) 0.2(2 2.2) 2 0.1(3 2.2) 2 0.16 ? ? ? ? ? ? ? ? ? ? 两种编法的平均码长相同 , 所以编码效率相同。 讨论：哪种方法更好？ 结论： 在哈夫曼编码过程中 , 对缩减信源符号按概率由大到 小的顺序重新排列时 , 应使合并后的 新符号尽可能 排在靠前 的位置 , 。这样可使合并后的新符号重 复编码次数减少 , 使短码得到充分利用。 2 、第一种方法编出的 5 个码字只有两种不同的码长，第 二种方法编出的码字有 4 种不同的码长，因此第一种编码 方法更简单、更容易实现 , 所以更好。 1 、第一种编码方法的码方差要小许多。也就是说第一种 编码方法的码长变化较小 , 比较接近于平均码长。 二、 m 进制霍夫曼编码 1. 编码步骤 同二进制，但需注意两点 (1) 每次取最小的 m 个概率 , 分别赋以 0,1,…, m -1 ； (2) 为使平均码长最短，当对应的码树为非全树时， 第一次采用小于 m 个概率 ，此后每次均用 m 个概率 2. 非全树时的编码 (1) 全树 —— 码树中 , 每个中间节点的 后续枝数必为 m (2) 非全树 —— 码树中 , 有些中间节点的后续枝数不足 m 三进制 满树 （等长码） 三进制全树 （少一根即 为非全树） (3) m 进制的全树的终端节点数 ( 即时码个数 ) m + k ( m -1), k = 0,1,2,…. ( 每从一个节点分出 m 枝 , 就增加 m -1 个终端 ) (4) 当 n m + k ( m -1) 时 , 令 s = [ m + k ( m -1)]- n , s (m-1) 为构成全树所缺少的码字 ( 分支 ) 数。 (5) 非全树时的霍夫曼编码 第一次 取最小概率时，只 取 m - s 个 , 分别赋以 0,1,2,…, m - s -1 。此后每次都取 m 个 X P(X ) X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 0.40, 0.18, 0.1, 0.1, 0.07, 0.06, 0.05, 0.04