信息论与编码第2.pptVIP

　　信源U的N次扩展信源UN进行等长编码，若要使编得的等长码是惟一可译码，则必须满足: （2－27） 对式（2－27）两边取对数，可得： 或 （2-28） 　　式中，l/N是平均每个信源符号所需要的码符号个数。该式表示对于等长惟一可译码，每个信源符号至少需要用lbq／lbr个码符号来变换。 若N=1，则有 （2－29） 当r=2(二元码)时，lbr=1，则 （2－30） 　　例如，英文电报有32个符号(26个英文字母加上6个标点符号)，即q=32，若采用二元码时，则r=2。对信源U的逐个符号ui(i=1，2，…，32)进行二元编码，则有lbq=lb32=5，这就是说，每个英文电报符号至少要用5位二元符号编码。 　　定理2－5（等长信源编码定理）一个熵为H（U）的离散无记忆信源U，若用m元码对其N次扩展信源UN进行码长为L的等长编码。对于任意ε0，只要满足： （2－31） 则当N足够大时，几乎可实现无失真编码，即译码错误概率能为任意小。反之，若 （2－32） 则不可能实现无失真编码，而当N足够大时，译码错误概率近似等于1。对该定理的严格证明请参阅有关参考文献。下面给出等长码的编码效率等公式。 　　设一个熵为H（U）的离散无记忆信源U，若用m元码对其N次扩展信源UN进行码长为L的等长编码。　　定义编码信息率R′： （比特/信源符号） (2－33)