第四章：无失真信源编码解读.ppt

－香农编码步骤 以二进制香农码为例： 排序 将信源符号按概率从大到小的顺序排列，为方便起见，令 p(x1)≥ p(x2)≥…≥ p(xn) 概率累加 令p(x0)=0，设i=0,1,…n-1,用pa(xj)，j=i+1表示前i个码字的累加概率，则： 确定码长 求满足下列不等式的整数ki ，并令ki为第i个码字的长度 －log2 p(xi)≤ki1－ log2 p(xi) 编码 将pa(xj) 用二进制表示，并取小数点后ki 位作为符号xi的编码。 §4.5实用的无失真信源编码方法举例 [例7]有一单符号离散无记忆信源 对该信源编二进制香农码。其编码过程如下表所示。 香农编码举例－1 二进制香农编码 xi p(xi) pa(xj) pa(xj)2 ki 码字 x1 0.25 x2 0.25 x3 0.20 x4 0.15 x5 0.10 x6 0.05 0.25 0.00 0.50 0.70 0.85 0.95 (0.000)2 (0.010)2 (0.100)2 (0.101)2 (0.1101)2 (0.11110)2 2 2 3 3 4 5 00 01 100 101 1101 11110 编码效率 离散无记忆信源的熵： 平均码长： 采用香农编码后的信息率： 编码效率： 结论： 1、香农编码对信源进行了压缩。若对该信源采用等长编码， 要做到无失真译码，每个符号至少要用3个比特表示。 2、编码效率并不是很高。 香农编码举例－2 以二进制费诺编码为例，编码步骤如下： 排序： 将概率按从大到小的顺序排列，令 p(x1)≥ p(x2)≥…≥ p(xn) 分组： 按编码进制数将概率分组，使每组概率尽可能接近或相等。如编二 进制码就分成两组，编m进制码就分成m组。 编码： 给每一组分配一位码元。 重复： 将每一分组再按同样原则划分，重复步骤2和3，直至概率不再可分 为止。 －费诺编码步骤 §4.5实用的无失真信源编码方法举例 [例8] 设有一单符号离散信源 对该信源编二进制费诺码。编码过程如下表所示。 费诺编码举例－1 0 1 0 1 0 1 0 1 0 1 00 01 10 110 1110 1111 2 2 2 3 4 4 编码效率 该信源的熵: 平均码长: 编码效率: 结论： 费诺码比较适合于每次分组概率都很接近的信源。特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率。 费诺编码举例－3 §4.5实用的无失真信源编码方法举例 －霍夫曼编码 编码规则： 1)排序： 将信源消息U按概率大小排序（由大至小） p(x1)≥ p(x2)≥…≥ p(xn) 2)定规则并编码： 从最小概率的两个符号开始编码，并赋予一定规则，如下支路小概率为“1”，上支路大概率为“0”。若两支路概率相等，仍为下支为“1”上支为“0”。 3) 概率合并：将已编码两支路概率合并，重新排队，编码。 4) 重复：重复步骤3）直至合并概率归一时为止。 5)确定最终码子：从概率归一端沿树图路线逆行至对应消息编码。 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 001 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 001 010 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 001 010 0110 霍夫曼编码举例－1 例9： 0 1 0 1 0 1 1 0 0 1 0 1 0 1 10 11 000 001 010 0110 01110 霍夫曼编码举例－1 例9： 0 1