第三章离散信源无失真编码.pptVIP

一般地，对于D2的D进制霍夫曼编码，先根据 D*∈{2，3，…，D} （3-31） 和 D*= M mod (D-1) （3-32） 算出D*，即最长的码字数为 D*，第一次取D*个概率合并，以后每次取D个概率合并。 记 为信源每个符号所对应的平均码字数，则式(3-23)为 （3-24） Shannon第一定理的物理意义在于：对信源进行编码，使编码后的码集中各码字尽可能等概分布，如果将这码集看成为一个新的信源，这时新信源所含信息量最大。 定义编码效率 (3-26) η是一个无量纲的数，一般情况下η1，在极限情况下η=1。 上一讲复习 上一讲我们主要讨论了在不允许失真前提下对信源的编码，分为两种情况，等长编码和变长编码。等长编码定理和变长编码定理分别给出了这两种情况，在无失真和码长尽可能短这两个约束条件下的平均码长的上界和下界。 等长编码定理 记H（X）为单符号信源熵，L为扩展信源输出序列长度，n为码字长度，D为码符号集元素个数，当满足条件 ，则L →∞时，可使译码差错pe δ(ε、δ为 无穷小量)；反之，当 时，则不可能实现无差错编码。 变长编码定理(Shannon第一定理) 记H（X）为单符号信源熵，L为扩展信源输出的序列长度， 为信源每个符号所对应的平均码字数，D为码符号集元素个数，则对信源进行编码，总可以找到一种惟一可译码，使码长满足 对于同一种信源，三种编码法中以香农编码法的编码效率最低，费诺编码法也不是一种最佳编码法，但用这种方法有时候也能找到紧致码。 一般情况下，霍夫曼编码法得到的平均码长 最短，即编码效率 最高。 3.4 变长码的编码方法 香农（Shannon）编码法 费诺(Fano)编码法 霍夫曼(Huffman)编码法 变长编码法： 3.4.1 香农编码法 D进制香农编码法其码长的取值范围: -logDq(xm) ? nm -logDq(xm)+1 （3-30） 记离散信源 ，给定有D个 元素的码符号集，对信源进行变长编码，将各消息概率q(xm) (m = 1, 2, …, M) 写成如下的形式： 取码长nm (m = 1, 2, …, M) 满足： tm ? nm tm +1 （3-28） 香农编码法具体步骤如下:（以D = 2为例） （4）计算出第m个消息的累加概率 ，再将pm 变换成二进制小数，取小数点后面nm位作为第m个消息的代码组。 （3）根据式（3-31）：-log q (xm) ? nm -log q (xm) +1 （-log q (xm)为整数时取等号），计算出每个消息的二进制代码的长度nm； （2）计算出各消息的 -log q(xm) 值，m =1, 2, …, M； （1）将信源发出的M个消息，按其概率递减顺序进行排列; 【例3.14】 对给定信源 进行D =2进制香农编码。 1111110 0.99 7 6.66 0.01 x7 1110 0.89 4 3.34 0.10 x6 101 0.74 3 2.74 0.15 x5 100 0.57 3 2.56 0.17 x4 011 0.39 3 2.48 0.18 x3 001 0.2 3 2.41 0.19 x2 000 0 3 2.34 0.2 x1 码字ci 累加概率 码长ni -log2qi 消息概率qi 消息符号xi 表3-8 香农编码 以消息x5为例，对其进行编码： 计算出 -log q(x5) = -log 0.15 = 2.74，取整数n5 = 3作为x5的码字的码