2.10常用信源编码.docVIP

2.10常用信源编码 信源编码也称为有效性编码，通过编码的方式，压缩信源的冗余度，从而提高了了通信的有效性。 2.10.1山农—费诺编码 山农—费诺编码是一种常见的信源编码，其编码的步骤如下： (1)将信源的符号按其概率从大到小排列。 (2)将这一列符号分成尽可能概率接近或相同的两组。 (3)上面一组符号编为0，下面一组符号编为1，或反之。 (4)已分的组再按（2）、（3）步骤重复做，直至不能再分组。 (5)自左至右写出各码字。 [例2.10.1]有一单符号离散无记忆信源X如下，要求进行山农—费诺编码 因为信源有8个符号，其理论最大熵为 lb8=3比特/符号，而实际熵为2.55比特/符号，如采用三位二进制等长编码，则效率 η=2.55/3 = 85%，或者说采用定长编码效率较低。如采用山农—费诺编码，则效率会提高不少。 2.10.2哈夫曼编码 哈夫曼编码是效率比较高的又一种无失真信源编码，二进制哈夫曼编码步骤如下： (1) 把信源符号按概率从大到小排成一列； (2) 把概率最小的两个分成一组，上面一个编为0，下面一个编为1，并将这两个符号的概率加起来，其结果再和尚未处理过的符号重新按大小排序； (3) 重复步骤2，直到所有信源符号都处理完。 (4) 从右向左依据编码路径返回，就得到各码字。 [例2.10.2]同前例,编码过程见下图2.10.2： （PPT 001第四章） 2.10.3冗余位编码 冗余的信息完全可以不全部传送（压缩掉），从而提高了传输效率。 1．L—D编码 现在来讨论一种由林绪（Lynch）和达维生（Davission）分别独立提出的冗余位编码法，称为L—D编码。 例如有一二元序列，其中的一串000100000001000共二进制15位，其余的也可分割成15位一串，称为一帧。现在研究压缩冗余的方法。显然对该帧可确切描述为： （1） 帧长为15。 （2） 共有两个1。 （3） 第一个1在第4位。 （4） 第二个1在第12位。 可简写为： N=15,Q=2,n1=4,n2=12 其中N为帧长，Q表示帧中1的个数，n1,n2表示1的位置. 再来分析包括这些信息至少要二进制多少位，显然1的个数可能为0—15个共16种情况，需要的二进制符号数为4，而1的位置的可能性应为N中取Q的组合数。 需要用二进制的位数为6.7，取最小整数7位。 于是共需4+7=11位二进制，可见有15—11=4位冗余可压缩掉。Q很好处理，直接用4位二进制数表示即可。难点是n1,n2，如何把它们综合起来，成为一个7位的二进制数，而在译码时又能从这一个7位的二进制数中唯一地求出n1,n2来。 解题步骤P110-P111 根据上例可归纳出L—D码编码方法： (1) 将冗余序列截成N位二进制的一帧。 (2) 根据1的数目写出Q，根据1的位置写出n1。 (3) 根据公式求出T。 (4) 根据公式A求压缩后的二进制位数，前一项表示1的数目，后一项表示所有1的位置。 (5) 用二进制表示QT。 　L—D译码方法 (1)用尝试的方法从K=N-1起，根据下式求出K，进而求出nQ; (2)再令，从L=K-1起求适合下式的L，进而求出nQ-1; (3)重复（2）直至nQ-1= n1。 (4)根据Q ,n恢复出原冗余位序列。 例1( ：= 消息U 概率pi 编码C U1 1/2 0 0 1 0 U2 1/4 0 10 1/2 1 U3 1/8 0 110 1/4 1 U4 1/8 1 111 编码规则： 将信源消息U按概率大小排序（由大至小）。 2) 从最小两个概率开始编码，并赋予一定规则，如下支路小概率为“1”，上支路大概率为“0”。若两支路概率相等，仍为下支为“1”上支为“0”。 3) 将已编码两支路概率合并，重新排队，编码。 4) 重复步骤3）直至合并概率归一时为止。 5) 从概率归一端沿树图路线逆行至对应消息编码，如U3为“110”。 例2. =