第四章：无失真信源编码总论.ppt

－香农编码步骤 以二进制香农码为例： 排序 将信源符号按概率从大到小的顺序排列，为方便起见，令 p x1 ≥ p x2 ≥…≥ p xn 概率累加 令p x0 0，设i 0,1,…n-1,用pa xj ，j i+1表示前i个码字的累加概率，则： 确定码长 求满足下列不等式的整数ki ，并令ki为第i个码字的长度 －log2 p xi ≤ki 1－ log2 p xi 编码 将pa xj 用二进制表示，并取小数点后ki 位作为符号xi的编码。 §4.5实用的无失真信源编码方法举例 [例7]有一单符号离散无记忆信源 对该信源编二进制香农码。其编码过程如下表所示。 香农编码举例－1 二进制香农编码 xi p xi pa xj pa xj 2 ki 码字 x1 0.25 x2 0.25 x3 0.20 x4 0.15 x5 0.10 x6 0.05 0.25 0.00 0.50 0.70 0.85 0.95 0.000 2 0.010 2 0.100 2 0.101 2 0.1101 2 0.11110 2 2 2 3 3 4 5 00 01 100 101 1101 11110 编码效率 离散无记忆信源的熵： 平均码长： 采用香农编码后的信息率： 编码效率： 结论： 1、香农编码对信源进行了压缩。若对该信源采用等长编码， 要做到无失真译码，每个符号至少要用3个比特表示。 2、编码效率并不是很高。 香农编码举例－2 以二进制费诺编码为例，编码步骤如下： 排序： 将概率按从大到小的顺序排列，令 p x1 ≥ p x2 ≥…≥ p xn 分组： 按编码进制数将概率分组，使每组概率尽可能接近或相等。如编二 进制码就分成两组，编m进制码就分成m组。 编码： 给每一组分配一位码元。 重复： 将每一分组再按同样原则划分，重复步骤2和3，直至概率不再可分 为止。 －费诺编码步骤 §4.5实用的无失真信源编码方法举例 [例8] 设有一单符号离散信源 对该信源编二进制费诺码。编码过程如下表所示。 费诺编码举例－1 0 1 0 1 0 1 0 1 0 1 00 01 10 110 1110 1111 2 2 2 3 4 4 编码效率 该信源的熵: 平均码长: 编码效率: 结论： 费诺码比较适合于每次分组概率都很接近的信源。特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率。 费诺编码举例－3 §4.5实用的无失真信源编码方法举例 －霍夫曼编码 编码规则： 1 排序： 将信源消息U按概率大小排序（由大至小） p x1 ≥ p x2 ≥…≥ p xn 2 定规则并编码： 从最小概率的两个符号开始编码，并赋予一定规则，如下支路小概率为“1”，上支路大概率为“0”。若两支路概率相等，仍为下支为“1”上支为“0”。 3 概率合并：将已编码两支路概率合并，重新排队，编码。 4 重复：重复步骤3）直至合并概率归一时为止。 5 确定最终码子：从概率归一端沿树图路线逆行至对应消息编码。 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 001 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 001 010 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 001 010 0110 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 001 010 0110 01110 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 001 010 0110 01110 01111 霍夫曼编码举例－2 特点： 编码不是唯一的 保证了概率大的符号对应于短码，概率小的符号对应于长码，而且短码得到充分利用 每次缩减信源的最后二个码字总是最后一位码元不同，前面各位码元相同（二元码情况） 每次缩减信源的最长两个码字具有相同码长 后三个特点保证了所得到的huffman码一定是最佳码（证明见李亦农《信息论基础教程》2005年1月第一版p114） 每次对缩减信源两个概率最小的符号分配“0”和“1”码元是任意的，所以可得到不同的码字。只要在各