第3章 节 离散信源无失真编码 信息论 .ppt

;第3章 离散信源无失真编码;;从数学意义上，信源编码就是信源符号序列到码序列(数字序列)之间的映射。; 通信的实质是传输信息，要求传输的有效性和和可靠性。有效性——在不失真或允许失真的条件下，用尽可能少的符号传送信源信息。信源编码分为无失真和限失真。 （1）无失真编码，又名冗余度压缩编码：仅对信源的冗余度进行压缩，不改变信源的熵； （2）限失真编码，又名熵压缩编码：在失真受限的情况下进行限失真编码。;本章讨论离散信源编码，首先从无失真编码定理出发，重点讨论以香农码、费诺码和哈夫曼码为代表的最佳无失真码。;一、无失真信源编码定理;如果码率;根据香农第一定理，无失真编码的码长;一个单符号离散信源无失真编码的例子：;一种无失真等长编码是对信源符号进行4-2进制变换;一种无失真不等长编码;该信源的二次扩展信源;该编码的平均码长;不等长编码的结论与问题：;1、异前置码;码A不是单义可译码，它有二义性；码B和码C是单义可译码；码B是延时码，它需等到对应与下一个符号的码字开头0才能确定本码字的结束，存在译码延时；码C是即时码。;码C的特点——任何一个码字都不是其它码字的前缀，因此将该码称为异前置码。;码C所对应的二元码树图;;长度为ki i=1,2, …,n的二元异前置码存在的充分必要条件;设二元异前置码第i个码字的长度为ki i=1,2, …,n;;香农码直接基于最优码码长的界，是一种采用异前置码实现的无失真不等长编码。;③令P(a0)=0，计算第i-1个符号序列的累加概率;编香农码，并计算编码效率。;xi;③令P(x0)=0，计算第i个码字的累加概率;④将Pa(xi)用二进制表示，取小数点后ki位作为xi的码字ci;xi;分别对该信源和其二次扩展信源编香农码，并计算编码效率。;Pa(x1)=0.0=(0.0)2→c1=0 Pa(x2)=0.5=(0.10)2→c2=10 Pa(x3)=0.8=(0.110…)2→c3=110;(2)对二次扩展信源编码;Pa(a1)=0 Pa(a2)=0+0.25=0.25 Pa(a3)=0.25+0.15=0.4 Pa(a4)=0.4+0.15=0.55 Pa(a5)=0.55+0.1=0.65 Pa(a6)=0.65+0.1=0.75 Pa(a7)=0.75+0.09=0.84 Pa(a8)=0.84+0.06=0.9 Pa(a9)=0.9+0.06=0.96;Pa(a1)=0.0=(0.00)2→c1=00 Pa(a2)=0.25=(0.010)2→c2=010 Pa(a3)=0.4=(0.011…)2→c3=011 Pa(a4)=0.55=(0.1000…)2→c4=1000 Pa(a5)=0.65=(0.1010…)2→c5=1010 Pa(a6)=0.75=(0.1100)2→c6=1100 Pa(a7)=0.84=(0.11010…)2→c7=11010 Pa(a8)=0.9=(0.11100…)2→c8=11100 Pa(a9)=0.96=(0.11101…)2→c9=11101;ai;香农码的特点;费诺码基于概率匹配的思想，也是采用异前置码实现的无失真不等长编码。;编费诺码，并计算编码效率。;xi;第二次分组：;第三次分组：;例2;(1)对单符号离散信源编码;xi;(2)对二次扩展信源编码;第二次分组：;第三次分组：;第六次分组：;ai;费诺码的特点;3、赫夫曼码;赫夫曼码也是采用异前置码实现的无失真不等长编码，通常赫夫曼码的编码效率高于香农码。;重复① ② ③步骤，直到合并出一个以1为概率的新符号序列，结束编码;1;重复① ② ③步骤，直到合并出一个以1为概率的新符号，结束编码;ci;例2;(1)对信源编码;(2)对二次扩展信源编码;ai;2;用两种方法进行赫夫曼编码，并计算平均码长。;xi;(2)将合并后的新符号排在其它相同概率符号之前;采用不同排列方法编出的赫夫曼码，其码字和码长可能完全不相同，但平均码长一定相等，编码效率不会因排列方法而改变。;赫夫曼码的特点;