信息论与编码第2章.ppt

　　信源U的N次扩展信源UN进行等长编码，若要使编得的等长码是惟一可译码，则必须满足: （2－27） 对式（2－27）两边取对数，可得： 或 （2-28） 　　式中，l/N是平均每个信源符号所需要的码符号个数。该式表示对于等长惟一可译码，每个信源符号至少需要用lbq／lbr个码符号来变换。 若N=1，则有 （2－29） 当r=2(二元码)时，lbr=1，则 （2－30） 　　例如，英文电报有32个符号(26个英文字母加上6个标点符号)，即q=32，若采用二元码时，则r=2。对信源U的逐个符号ui(i=1，2，…，32)进行二元编码，则有lbq=lb32=5，这就是说，每个英文电报符号至少要用5位二元符号编码。 　　定理2－5（等长信源编码定理）一个熵为H（U）的离散无记忆信源U，若用m元码对其N次扩展信源UN进行码长为L的等长编码。对于任意ε0，只要满足： （2－31） 则当N足够大时，几乎可实现无失真编码，即译码错误概率能为任意小。反之，若 （2－32） 则不可能实现无失真编码，而当N足够大时，译码错误概率近似等于1。对该定理的严格证明请参阅有关参考文献。下面给出等长码的编码效率等公式。 　　设一个熵为H（U）的离散无记忆信源U，若用m元码对其N次扩展信源UN进行码长为L的等长编码。　　定义编码信息率R′： （比特/信源符号） (2－33) R′编码后平均每个信源符号能载荷最大信息量。 　　定义等长编码效率： (2－34) 由定理2－5可知，最佳等长编码效率η为 ε0 (2－35) 对等长编码，若要实现几乎无失真编码，则信源长度N必须满足； （2－36） 式中：σ2——信源U的方差；η——编码效率；Pe——差错率。 【例2－9】　设离散无记忆信源 信源熵： 方差： 　　若取差错率Pe＝10－6，编码效率为95%，则可计算出等长编码需联合的信源符号数N应满足： 　　可见，在差错率和编码效率要求并不十分苛刻的条件下，就需要近一百万个信源符号进行联合编码，这显然是没有必要实现的。若对例2－9用变长码来实现，其效率可达100％。这虽然是一个特例，但是一般情况下变长码的编码效率都很高，要优于等长编码。 2.4.2　变长码的平均码长及编码效率　　对式（2－1）基本离散信源进行编码，设编码后各码字的码长分别为l1,l2,　…，ln,则定义该码的平均码长度为 码符号/信源符号 (2－37) 　　平均码长　是每个信源符号平均需用的码元数。信源编码的目的是为了提高信息传输系统有效性，而　和编码后的压缩效果密切相关，若　平均码长大则压缩效果差，系统有效性差，若平均码长小则压缩效果好，系统有效性高，为此，人们感兴趣的码是平均码长最短码，这种编码可使信息传输系统更经济、简单，使信息传输效率更高。 　　当信源给定时，信源的熵H（U）就确定了，编码后每个信源符号的平均码元数为L，那么平均每个码元携带的信息量即编码后信道的信息传输率R为 (比特/码符号) (2－38) 若传输一个码符号平均需要ｔ秒钟，则编码后信道每秒钟传输的信息量为： (比特/秒) (2－39) 　　设对信源U进行编码所得到的平均码长　，因为　一定大于或者等于Hm(U)(m元码的熵)，所以定义编码的效率η为： (2－40) 式中： (码符号/信源符号)； (比特/信源符号)。 　　对同一信源来说，码的平均码长L越短，越接近极限值Hm（U），信道的信息传输率就越高，也就越接近无噪无损信道容量，这时的η越接近于1。所以可用码的效率η来衡量各种信源编码的优劣。　　另外，为了衡量各种编码与最佳码的差距，定义码的剩余度为 (2－41) 　　在二元无噪无损信道中,m＝2，所以Hm(U)＝H(U)，式（2－40）为 （2－42） 所以在二元无噪无损信道中信息传输率为 （2－43） 　　注意:上式中R与η的数值相同，单位不同，η是个无单位的比值。为此，在二元信道中可直接用码的效率来衡量编码后的信息传输率是否提高了。当η＝1，即R＝1(比特／码符号)时，表明已达到了二元无噪无损信道的信道容量，其编码效率最高，码剩余度为零。 2.4.3　变长码的特点　　1．使信道复杂化　　一般情况下，信源符号以恒速输出。信源输出经变长编码后，其输出的每秒比特数就不是常量，因而不能直接由信道来传送。为了适应信道输出，必须有缓冲设备，将编码输出暂存在缓冲器中，然后再送到信道去传送。从理论上说，信道传送速率应等于信源输出速率S与平均码长的乘积。就是当存储器容量为无限时，信源输出与信道传送之间取得平衡。在时间趋向于无限时，信源输出的比特数和信道上传送比特数接近相等。 　　2．容易产生溢出或取空错误　　根据前面分