第12讲等长编码定理.pptVIP

3.3.1 定长编码定理 所谓定长编码，就是对信源的发出的每个符号进行等长度的编码，即每个码字的长度nk是定值， 注：等长编码得到的码组是惟一可译码。 1、定理3.1 (等长信源编码定理) 一个熵为H(X)的离散无记忆信源，若对信源长为N的符号序列进行等长编码，设码字是从r个字母的码符号集中，选取n个码元组成。对于任意?0，只要满足 则当N足够大时，可实现几乎无失真编码，即译码错误概率能为任意小。 例2 设离散无记忆信源概率空间为 比特/符号 说明了：对于定长编码，即使在编码效率和译码错误概率的要求并不 十分苛刻的情况下，就需要 N=108 个信源符号一起进行编码。 * 第三节、等长编码定理 1、等长编码定理 2、编码速率、编码效率 反之，若 则不可能实现无失真编码，而当N足够大时，译码错误概率近似等于1。 证明(1)、由典型序列中序列的个数|TX(N, ?)|可知 又因为：r个码符号，可以组成n长序列的个数为rn 故，当r n 2N[H(X)+ ? ]时，就可以保证每个序列都有唯一的一个码字与之对应，因此可以实现几乎无