第5章：信源编码1总汇.ppt

信息论与编码 西安工业大学电子信息工程学院 第五章 信源编码 通信系统的优化模型 本章内容 离散信源编码 连续信源编码 5.1 离散信源编码 编码的基本概念 码的分类 定长编码定理 变长编码定理 香农编码 费诺编码 赫夫曼编码 如果接收端收到一个完整的码字后，不能立即译码，还要等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码。 即时码的判决准则 克拉夫特不等式：设信源为 ，对其进行r元信源编码，相应码字长度为 ，则即时码存在的充要条件是： 唯一可译码的判决准则 麦克米伦不等式：设信源为 ，对其进行r元信源编码，相应码字长度为 ，则唯一可译码存在的充要条件是： 不同编码方式的衡量标准 平均码长：对离散无记忆信源进行信源编码，设编码后各个码字的码长分别为 ，则定义该码的平均码长为： 如果某种编码方式的平均码长小于所有其他编码方式，则该码称为紧致码或最佳码。 编码信息率(编码速率)： 码长 表示长为N的信源序列用多少个r进制码符号表示，因此 表示平均一个信源符号用多少个r进制符号表示，再乘以 表示将r进制转换成二进制 编码效率： 含义：理论上平均每个信源符号用多少个二进制符号的个数除以实际上用的二进制码符号的个数，即表示一种编码的效率。 码字与信息率的关系 有时消息太多，不可能或者没必要给每个消息都分配一个码字； 给多少消息分配码字可以做到几乎无失真译码？ 传送码字需要一定的信息率，码字越多，所需的信息率越大。编多少码字的问题可以转化为对信息率大小的问题； 信息率越小越好，最小能小到多少才能做到无失真译码呢？ 这些问题就是信源编码定理要研究的问题。 信源编码的方法 信源编码有定长和变长两种方法。 定长编码：码字长度 K 是固定的，相应的编码定理称为定长信源编码定理，是寻求最小 K 值的编码方法。 变长编码：K 是变值，相应的编码定理称为变长编码定理。这里的 K 值最小意味着数学期望最小。 定长编码定理：一个熵为 H(X) 的离散无记忆信源 X1X2…Xl…XN，若对信源长为 N 的符号序列进行定长编码，设码字是从 m 个字母的码符号集中，选取 K 个码元组成Y1Y2…Yk…YK。对于任意ε0，δ0 ，只要满足 则当 N 足够大时，必可使译码差错小于δ，即译码错误概率能为任意小.反之，若： 则不可能实现无失真编码，而当 N 足够大时，译码错误概率近似等于1. 定理中的公式改写成：Klog2mNH(X) Klog2m：表示长为 K 的码符号序列能载荷的最大信息量NH(X) ：代表长为N 的信源序列平均携带的信息量 平均符号熵。 定长编码定理告诉我们：只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。 可以证明： 信源编码定理从理论上说明了编码效率接近于 1，即： 的理想编码器的存在性，代价是在实际编码时 取无限长的信源符号 (N→∞) 进行统一编码。 说明：定长编码定理是在平稳无记忆离散信源的条件下论证的，但它同样适用于平稳有记忆信源，只是要求有记忆信源的极限熵和极限方差存在即可。对于平稳有记忆信源，定理中的熵应改为极限熵。 [例]：设单符号信源模型为： 其信息熵为：H(X)=2.55（比特／符号） σ2(x)=1.323 若要求编码效率为η = 90%，即： 译码差错率为δ=10－6，则ε=0.28， 在差错率和效率要求都不苛刻的情况下，就必须有1600多万个信源符号一起编码，技术实现非常困难。 [例]：离散无记忆信源： 其信息熵为： 自信息的方差为： 若对信源X采取等长二元编码时，要求η=0.96，δ=10－5 信源序列长度需长达4130万以上，才能实现给定的要求，这在实际中很难实现。 一般来说，当 N 有限时，高传输效率的等长码往往要引入一定的失真和错误，它不能像变长码那样可以实现无失真编码。 (1) 基本概念 (2) 码树图 (3) 变长编码定理 (1) 基本概念 变长编码（不等长编码）：不等长编码允许把等长的消息变换成不等长的码序列。通常把经常出现的消息编成短码，不常出现的消息编成长码。这样可使平均码长最短，从而提高通信效率，代价是增加了编译码设备的复杂度。 例如：在