信息论与编码第五章部分.pptVIP

5.2 无失真信源编码 变长码主要编码方法有： 香农（Shannon） 费诺（Fano） 哈夫曼（Huffman） 3、哈夫曼编码方法 (1)将信源消息符号按其出现的概率大小依次排列， (2)取两个概率最小的字母分别配以0和1两个码元，并将这两个概率相加作为一个新字母的概率，与未分配的二进符号的字母重新排队。 哈夫曼编码方法得到的码并非唯一的 （1）每次对信源缩减时，赋予信源最后两个概率最小的符号，用0和1是可以任意的，所以可以得到不同的哈夫曼码，但不会影响码字的长度。 例 设有离散无记忆信源 例：若消息符号的概率分布为：p(u0)=1/2,p(u1)=1/4,p(u2)=1/8,p(u3)=1/8。求： （1）消息符号熵和其二进制哈夫曼编码； （2）每个消息符号所需的平均二进制码个数； 答案: (1)H(X)=1.75 U0—1,U1—01,U2—000,U3—001 (2) 1.75 例：若消息符号的概率分布为：p(u0)=1/2,p(u1)=1/4,p(u2)=1/8,p(u3)=1/8。求： （3）若各消息符号间相互独立，求编码后对应的二进制序列的熵； （4）若传输每个码字需要1.8元钱，问采用二定长码、二进制哈夫曼编码、二进制费诺码、三进制费诺码和三进制哈夫曼编码哪个更节省费用。 答案(3)p(0)=1/2,p(1)=1/2, H(Y)=1 无噪无损。编码效率为1。 （4）M1=3.6(元），M2=3.15，M3=3.15 M4=2.25,M5=2.7 习题5-2？ 5.4 其它编码方法介绍一、游程编码 游程编码 在二元序列中，连0段称为0游程 连1段称为1游程 000101110010001 可变换成下列游程序列（规定从０游程开始） 3113213 冗余位编码（LD码） 如下多元序列 x1，x2，…，xm1，y，y，…，y，x m1+1，xm1+2，…x m2，y，y，… 可以用下面序列表示 111，…，100，…，000111，…，111000 x1，x2，…，xm1，x m1+1，x m1+2…x 2，… 1表示信息位，0表示冗余位 5.4 其它信源编码方法二、算术编码 算术编码：非分组码 设起始状态为空序列?， 则A(? )＝1，C(?)＝0。 用累积概率划分编码区间,用区间位置进行编码.编码区间逐次细分。 译码过程： （a)码字与译码区间比较，确定译码符号ai； （b）去掉累积概率；C(S)=C(S)-Pr; （c）区间放大；C(S)=C(S)*(1/pi); （d）重复上述步骤。 译码 C(abda)=0.0101110.1?[0,0.1] 第一个符号为a 放大至[0,1](×pa-1)： C(abda)×21＝0.10111?[0.1,0.110] 第二个符号为b 去掉累积概率Pb： 0.10111-0.1=0.00111 特点： 算术编码从性能上看具有许多优点，特别是由于所需的参数很少，不象哈夫曼编码那样需要一个很大的码表，常设计成自适应算术编码来针对一些信源概率未知或非平稳情况。 * 问题： 什么是克劳夫特不等式? 对a1~a5共5个符号进行二进制编码，若 k1=k2=k3=2，k4=k5=3， 是否存在唯一可译码？如何得到即时码。 信源编码分类? I(X;Y)=LHi(X)满足条件:Klogm=LHi(X) 1111110 7 6.64 0.99 0.01 a7 1110 4 3.32 0.89 0.10 a6 101 3 2.74 0.74 0.15 a5 100 3 2.56 0.57 0.17 a4 011 3 2.47 0.39 0.18 a3 001 3 2.39 0.2 0.19 a2 000 3 2.32 0 0.20 a1 码字 码字长度Ki -log p(ai) 累加概率Pi 符号概率(ai) 信源消息符号ai 4 1111 1 0.01 a7 4 1110 0 1 0.10 a6 3 110 0 1 0.15 a5 2 10 0 1 0.17 a4 3 011 1 0.18 a3 3 010 0 1 0.19 a2 2 00 0 0 0.20 a1 码长Ki 二元码字 第四次分组 第三次分组 第二次分组 第一次分组 各个消息概率 p(ai) 消息符号ai (3)对重排后的两个概率最小符号重复步骤(2)的过程。 (4)不断继续上述过程，直到最后两个符号配以0和1为止。 (5)从最后一级开始，向前返回得到各个信源符号所对应的码字。 （2）对信源进行缩减时，