第三章-无失真信源编码(2-2)技巧.pptVIP

由题意可得： bit/符号 [码元/符号] bit/码元 解2： [码元/符号] 定义码字长度的方差σ2： 两种编法的平均码长相同,所以编码效率相同。 讨论：哪种方法更好？ 结论： 在哈夫曼编码过程中,对缩减信源符号按概率由大到小的顺序重新排列时,应使合并后的新符号尽可能排在靠前的位置, 。这样可使合并后的新符号重复编码次数减少,使短码得到充分利用。 2、第一种方法编出的5个码字只有两种不同的码长，第二种方法编出的码字有4种不同的码长，因此第一种编码方法更简单、更容易实现,所以更好。 1、第一种编码方法的码方差要小许多。也就是说第一种编码方法的码长变化较小,比较接近于平均码长。 二、m 进制霍夫曼编码 1. 编码步骤 同二进制，但需注意两点 (1) 每次取最小的m个概率,分别赋以0,1,…,m-1； (2) 为使平均码长最短，当对应的码树为非全树时， 第一次采用小于m个概率，此后每次均用m个概率 2. 非全树时的编码 (1) 全树—— 码树中,每个中间节点的后续枝数必为m (2) 非全树——码树中,有些中间节点的后续枝数不足m 三进制满树 （等长码） 三进制全树 （少一根即为非全树） (3) m进制的全树的终端节点数(即时码个数) m + k(m-1), k = 0,1,2,…. (每从一个节点分出m枝, 就增加m-1个终端) (4) 当 n m+k(m-1)时, 令 s = [m+k(m-1)]-n, s(m-1)为构成全树所缺少的码字(分支)数。 (5) 非全树时的霍夫曼编码 第一次取最小概率时，只取 m-s 个, 分别赋以0,1,2,…,m-s-1。此后每次都取m个 X P(X ) X1, X2, X3, X4, X5, X6, X7, X8 0.40, 0.18, 0.1, 0.1, 0.07, 0.06, 0.05, 0.04 例： 对下列信源作三进制霍夫曼编码 (1)分析 n=8, m=3, ∴ m + k(m-1)=3+2k, 取k = 3，得s=1. 于是m-s=2，即第一次取两个概率。 (2)编码 0.09 0.22 0.38 1.0 01 2 01 21 x5 0.07 22 x6 0.06 200 x7 0.05 201 x8 0.04 11 x3 0.1 12 x4 0.1 10 x2 0.18 0 x1 0.40 01 2 01 2 (3)说明 ①平均码长 ③编码效率? = 95.2% 2.费诺编码 1)将信源消息符号按其出现的概率大小依次排列为 2)将依次排列的信源符号按概率值分为两组，使划分后的两个组的概率之和近似相同，并对各组赋予一个二进制码元0和1 3)将每一大组的信源符号再分成两组，使划分后的两个组的概率之和近似相同，并对各组赋予一个二进制符号0和1。 4)如此重复，直至每个组只剩下一个信源符号为止。 5)信源符号所对应的码字即为费诺码（按顺序）。 X P(X ) X1, X2, X3, X4, X5, X6, X7, 0.20, 0.19, 0.18, 0.17, 0.15, 0.10, 0.01 例：对下列信源进行费诺编码 xi P(xi) 第一次分组 第二次分组 第三次分组 第四次分组 二元码字 码长Ki X1 0.20 0 0 00 2 X2 0.19 1 0 010 3 X3 0.18 1 011 3 X4 0.17 1 0 10 2 X5 0.15 1 0 110 3 X6 0.10 1 0 1110 4 X7 0.01 1 1111 4 费诺码的平均码长 ? 信息传输速率 编码效率： ? = 95.3% [说明] i=1时， pi =0 i=2时， pi = p(x1) i=3时， pi = p(x2) + p(x1) ②根据式