第3失真信源编码.pptxVIP

第3章 无失真信源编码;理解n次扩展信源的渐近均分性 理解香农第一定理 理解异前置码的渐近最优性 掌握香农码的编码 掌握费诺码的编码 掌握赫夫曼码的编码;3.1 渐近均分性定理;二次扩展信源的概率;三次扩展信源的概率;概率分布特点;四次扩展信源的概率;概率分布特点;n次扩展信源的符号序列分为两组，n越大，其中一组的概率之和越接近1，概率相差越小——渐进均分性;2、渐进均分性定理;当n足够大;典型序列的自信息等于熵——典型序列等概率;推论1;推论2;3.2 香农第一定理;正定理;逆定理;译码错误概率;香农第一定理表明了n次扩展信源无失真信源编码的存在性，明确了熵H(X)是无失真信源编码码率R的下界——香农界;3.3 异前置码;2、平均码长;二次扩展信源信源编码及平均码长;某种信源编码;信源的熵;3、编码效率;4、异前置码;异前置码——任何码字结束时即可译出;例2;;3.4 渐近最优码??理;记二进制异前置码第k个码字的码长为lk;第2级被用掉或不能用的节点总数为;反之，从树根出发由短及长依次按码长lk生长二叉树枝，即可构造出一颗lmax级二叉树，相应得到二进制异前置码;定理;3.5 香农码;编香农码并计算编码效率;①将消息xk k=1,2,3,4按概率降序排列;③令P(x0)=0，计算第k-1个消息的累加概率;④将Pa(xk)用二进制表示，取小数点后lk位作为消息xk的码字ck;xk;分别对信源和二次扩展信源编香农码并计算编码效率;(1)信源编码并计算编码效率;xk;(2)二次扩展信源编码并计算编码效率;Pa(00)=0.0=(0.00)2→c1=00 Pa(01)=0.25=(0.010)2→c2=010 Pa(10)=0.4=(0.011…)2→c3=011 Pa(02)=0.55=(0.1000…)2→c4=1000 Pa(20)=0.65=(0.1010…)2→c5=1010 Pa(11)=0.75=(0.1100)2→c6=1100 Pa(12)=0.84=(0.11010…)2→c7=11010 Pa(21)=0.9=(0.11100…)2→c8=11100 Pa(22)=0.96=(0.11101…)2→c9=11101;xk;香农码的特点;习题，(P166)5.1;3.6 费诺码;例1;②不改变排列次序条件下第一次分组，使每组概率尽可能相等;xk;第二次分组及分配二进制码元;第三次分组及分配二进制码元;分配给消息xk的全部码元作为该消息的码字ck;例2;(1) 信源编码并计算编码效率;xk;(2)二次扩展信源编码并计算编码效率;第二次分组及分配二进制码元;第三次分组及分配二进制码元;第六次分组及分配二进制码元;xk;两种方法进行费诺编码并计算平均码长;(1)方法1——大概率分组排在前面;第三次分组及分配二进制码元;xk;(2)方法2——小概率分组排在前面;第三次分组及分配二进制码元;xk;采用不同排列方法编出的费诺码，码字和码长可能完全不相同，但平均码长相等——编码效率不会因排列方法而改变;费诺码的特点;习题，(P166)5.2;3.7 赫夫曼码;编赫夫曼码并计算编码效率;①将消息xk k=1,2,…,Nn按概率降序排列;重复① ② ③步骤，直到合并出新消息的概率为1时结束，分配给消息xk的全部码元作为该消息的码字ck;更紧凑的编码过程描述;例2;(1)信源编赫夫曼码并计算编码效率;(2)二次扩展信源编赫夫曼码并计算编码效率;0.05;0.05;两种排列方式进行赫夫曼编码并计算平均码长;(1)排列方式1——合并后的新消息排在其它相同概率消息之后;(1)排列方式2——合并后的新消息排在其它相同概率消息之前;采用不同排列方式编出的赫夫曼码，码字和码长可能完全不相同，但平均码长一定相等——编码效率不会因排列方法而改变;赫夫曼码的特点;习题，(P166-167)5.3(二进制)、5.6