(信息论)第5章无失真信源编码.pptVIP

或 当 时，则 其中， 是无记忆 N 次扩展信源 中每个信源符号 所对应的平均码长。 式中， 是 所对应的码字长度。 和 都是表示离散无记忆信源 S 中每个信源符号 所对应的平均码长，但计算对象不同。 (5.78) (5.77) (5.76) (5.78)式表明，当 N 充分大时，每个信源符号所对应的平均码长 等于 r 进制的信源熵 。若编码的平均码长 小于该信源熵 ，则唯一可译码不存在。这是因为不能生成和信源符号一一对应的码字，在译码或反变换时必然会带来失真和差错。 上面的变长编码定理是在离散无记忆信源的情况下推导的，但将该结论推广到平稳遍历的有记忆信源，如一般离散信源或马尔可夫信源，便有： 其中， 为有记忆信源的极限熵。 (5.79) 变长编码的编码速率： (5.80) 该式表明，编码后平均每个信源符号能载荷的最大信息量 有了编码速率的定义，就可以将Shannon第一定理用 R 重新表述如下： 若 就存在唯一可译的变长编码。若 则不存在唯一可译的变长编码。不能实现无失真的信源编码。 定理 5.4.5 编码效率定义为 其中， 为平均码长。此处， 。因为 故编码效率 一定是小于或等于 1 的数。 平均码长 越短，即 越接近它的极限值 ，那么编码效率将趋于1，效率就越高，因此，可以采用编码效率 来衡量各种编码的优劣。 (5.81) 定义 5.4.3 对于变长码，定义码的剩余度为 码的剩余度主要是用来衡量各种编码与最佳码的差距。 (5.82) 例 5.4.2： 有一个离散无记忆信源 其熵为 由于原始信源只有两个符号，可以用二元符号(0,1) 来构造一个即时码，即 。这时平均码长 。 编码效率为 得信道的信息传输率为 如对该信源 S 的二次扩展信源 进行编码。其二次扩展信源 和即时码如下表所示。 二次扩展后的码的平均长度 信源S中每一单个符号的平均码长为 其编码效率 得 从以上二次扩展信源编码看，虽然编码复杂了一些，但信息传输效率有了提高 如采用同样的方法进一步对信源 S 的三次和四次扩展信源进行编码，求出其编码效率为 相对应的信道的信息传输率分别为 从以上例子中得出，在获得同样的编码效率(96%)的情况下，变长码只需对二次 (N=2) 扩展信源进行编码，而等长码则要求 N 大于 。很明显，用变长码时，N 不需很大就可以达到相当高的编码效率，而且可实现无失真编码。随着扩展信源的次数的增加，编码的效率越来越接近于1，编码后信道的信息传输率 R 也越来越接近于无噪无损二元对称信道的信道容量 C=1 比特/二元码符号，达到信源与信道匹配，使信道得到充分利用。 5.4.5 变长码的编码方法 1、Shannon 编码方法 Shannon 第一定理是一个很重要的极限定理，它指出了平均码长与信源之间的关系，同时指出了可以通过编码使平均码长达到极限值。 Shannon 编码方法特点：多余度稍大，而实用性不大，但有重要的理论意义。 编码的具体方法步骤： 将信源发出的N个消息符号按其概率的递减次序依次排列 ① 表 5.11 Shannon 编码 按下式计算第 i 个消息的二进制代码组的码长 并取整 为了变成唯一可译码，首先计算第 i 个消息的累加概率 将累加概率 (为小数)变成二进制数。 去除小数点，并根据码长 ，取小数点后 位数作为第 i 个消息的代码组。 由下式确定。 (取整) ② ③ ④ ⑤ * 第 5 章 无失真信源编码 5.1 编码器 无失真信源编码：能够精确地复现信源的输出，保证信源产生的全部信息无损地送给信宿，这时的信源编码就是无失真信源编码。 编码器 信源符号集 码符号集 码元(码符号) 代码组C或码C