第三章-无失真信源编码(2)..pptVIP

DMS概率空间：[U, P]=[ui, P(ui) | i=1,2,..,q]N次扩展信源UN：[UN, P]=[aj, P(aj) | j=1,2,..,qN]   U的N长符号序列进行r进制编码 UN的单个符号进行r进制编码（定长编码或变长编码） 证明: 【说明】 （1）信源无失真变长编码定理又称香农第一定理。 （2） 是信息论的重要定理，给出了信源有效编码的界限。如果信源单个符号对应的平均码长 小于信源的熵Hr(U)，编码就会失真；如果满足 就一定能找到无失真编码。 （4） 用变长编码来达到相当高的编码效率，一般所要求的信源符号序列长度N可以比定长编码小得多。可得编码效率的下界： 例： 用二进制，r＝2，logr=l，H（X）＝2.55比特／符号，若要求 ，则 （5）编码后的剩余度 为 例：设离散无记忆信源的概率空间为 (1) 定长编码 若用二元定长编码（0，1）来构造一个即时码（N=1,r=2）： 这时平均码长为 编码效率为 输出的信息率为 (2)变长编码 假定信源序列的长度为N=2,其即时码如下表所示。 这个码的码字平均长度 单个符号的平均码长 编码效率 输出的信息率为 将信源序列的长度增加，N＝3或N=4，对这些信源序列X进行编码，并求出其编码效率为 (1)最佳码定义是什么? 凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可称为最佳码。（平均码长最短，编码效率最高，信源的冗余得到最大限度的压缩） (2)最佳编码思想是什么? 将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。 (3)最佳码的编码主要方法有哪些? 香农（Shannon）、费诺（Fano）、霍夫曼（Huffman）编码（要求掌握）等。 1.霍夫曼编码 （一）二进制的霍夫曼编码 ①把信源发出的n个符号按其概率递减次序排列 ②把概率最小的两个符号分别编成“1”和“0”码元(即把概率较大的符号编为“1”，概率较小的符号编为“0”；或反之也可),并对这两个符号求概率之和 ③把上述的概率和作为一个新符号的概率，再与原来的其他符号按概率递减的次序排列 ④重复上述编码步骤②与③，直到概率和是1为止 ⑤从最终的编码步骤，在各个符号编码方向线的逆行程顺序地取下所编出的码元，构成相对的代码组 【说明】 霍夫曼编码是真正意义上的最佳编码，对给定的信源，平均码长达到最小，编码效率最高，费诺编码次之，香农编码效率最低。 霍夫曼编码实际上构造了一个码树，从最上层端点开始，直到树根结束，最后得到一个横放的码树，编出的是非延长码，从树根到端点经过的树枝即为码字。 霍夫曼编码用概率匹配方法决定各码字的码长，概率大的符号对应于短码，概率小的符号对应于长码，从而平均码长最小。 每次对概率最小的两个符号求概率之和形成缩减信源时，构造出两个树枝，且赋予码元时任意的，编出的码字并不唯一。 例1. 对本信源进行单符号无失真定长编码、符号序列有失真定长编码及单符号霍夫曼编码进行对比分析 （1）有效的信源编码可取得较好的冗余压缩 【说明】 单符号无失真定长编码不但没压缩，反而增大冗余度。 符号序列有失真定长编码将冗余度压缩到0.1，代价是需要很长的符号序列（N＝108）进行编码。 单符号霍夫曼编码取得了理想的冗余压缩效果，冗余度为0。 一般说来，定长编码在引入失真且取很长序列编码时，取得一定的冗余压缩。变长编码在无失真前提下，只需取较短的序列编码就可取得满意的冗余度压缩。 （2）有效的信源编码可使输出码元概率均匀化 霍夫曼编码： 对如下DMS进行2进制霍夫曼编码 两种霍夫曼编码情况下的平均码长： 例3. 由上可得代码组的平均长度为： 所以，信息传输速率R为： 编码效率为： 例4.已知信源X的概率空间， 用霍夫曼编码方法找出各消息的代码组，并计算编码效率η 解1： 由题意可得： 解2： （二）r 进制霍夫曼编码 将二进制霍夫曼编码推广到r进制霍夫曼编码： 编码步骤： （1） 将信源符