g第5章：信源编码1.ppt

第五章 信源编码;通信系统的优化模型;本章内容;5.1 离散信源编码;;{a1, a2, …, aK}为信源符号集，序列中每一个符号uml都取自信源符号集。 {b1 ，b2 ，…，bD}是适合信道传输的D个符号，用作信源编码器的编码符号。编码输出码字cm = cm1 cm2 … cmn， c mk∈{b1 ，b2 ，…，bD} k = 1, 2 , …, n ，n表示码字长度，简称码长; 信源编码可看成是从信源符号集到码符号集的一种映射，即将信源符号集中的每个元素（可以是单符号，也可以是符号序列）映射成一个长度为n的码字。对于同一个信源，编码方法是多种的。; 3.变长码 若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不都相同，称码C为变长码，表1中列出的码3、码4 和码5就是变长码。; 5.非奇异码 从信源消息到码字的影射是一一对应的，每一个不同的信源消息都用不同的码字对其编码，例表1中的码2、码3、码4和码5都是非奇异码。;6）唯一可译??： 若码的任意一串有限长的码符号序列只能唯一地被译成所对应的信源符号序列，则此码称为唯一可译码，否则就称为非唯一可译码。; 如果接收端收到一个完整的码字后，不能立即译码，还要等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码。;如果收到一个完整的码字以后，就可以立即译码，则叫做即时码。 即时码要求任何一个码字都不是其他码字的前缀部分，也叫做异 前缀码。;;;;;; 有时消息太多，不可能或者没必要给每个消息都分配一个码字； 给多少消息分配码字可以做到几乎无失真译码？ 传送码字需要一定的信息率，码字越多，所需的信息率越大。编多少码字的问题可以转化为对信息率大小的问题； 信息率越小越好，最小能小到多少才能做到无失真译码呢？ 这些问题就是信源编码定理要研究的问题。; 信源编码有定长和变长两种方法。 定长编码：码字长度 K 是固定的，相应的编码定理称为定长信源编码定理，是寻求最小 K 值的编码方法。 变长编码：K 是变值，相应的编码定理称为变长编码定理。这里的 K 值最小意味着数学期望最小。; 定长编码定理：一个熵为 H(X) 的离散无记忆信源 X1X2…Xl…XN，若对信源长为 N 的符号序列进行定长编码，设码字是从 m 个字母的码符号集中，选取 K 个码元组成Y1Y2…Yk…YK。对于任意ε0，δ0 ，只要满足 则当 N 足够大时，必可使译码差错小于δ，即译码错误概率能为任意小.反之，若： 则不可能实现无失真编码，而当 N 足够大时，译码错误概率近似等于1.;定理中的公式改写成：Klog2mNH(X) Klog2m：表示长为 K 的码符号序列能载荷的最大信息量NH(X) ：代表长为N 的信源序列平均携带的信息量 平均符号熵。 定长编码定理告诉我们：只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。;可以证明： ;信源编码定理从理论上说明了编码效率接近于 1，即： 的理想编码器的存在性，代价是在实际编码时 取无限长的信源符号 (N→∞) 进行统一编码。 说明：定长编码定理是在平稳无记忆离散信源的条件下论证的，但它同样适用于平稳有记忆信源，只是要求有记忆信源的极限熵和极限方差存在即可。对于平稳有记忆信源，定理中的熵应改为极限熵。;[例]：设单符号信源模型为： 其信息熵为：H(X)=2.55（比特／符号） σ2(x)=1.323 若要求编码效率为η = 90%，即： 译码差错率为δ=10－6，则ε=0.28， 在差错率和效率要求都不苛刻的情况下，就必须有1600多万个信源符号一起编码，技术实现非常困难。;[例]：离散无记忆信源： 其信息熵为： 自信息的方差为：; 若对信源X采取等长二元编码时，要求η=0.96，δ=10－5 信源序列长度需长达4130万以上，才能实现给定的要求，这在实际中很难实现。 一般来说，当 N 有限时，高传输效率的等长码往往要引入一定的失真和错误，它不能像变长码那样可以实现无失真编码。;(1) 基本概念 (2) 码树图 (3) 变长编码定理;;;[例]： 码 3：虽然是惟一可译码，但它要等到下一个“1”收到后才能确定码字的结束，译码有延时。 码 4：既是惟一可译码，又没有译码延时。码字中的符号“1”起了逗点的作用，故称为逗点码。 即时码/前缀条件码/异前置码/异字头码/逗点码/非延长码：如果一个码的任何一个码字都不是其它码字的前缀。;; 终节点/终端节点：下面不再有树枝的节点。 中间节点：除了树根和终节点以外的节点。 联枝