第5节信源编码.ppt

第5章 信源编码 5.0 编码基本概念 编码的目的是为了优化通信系统。一般说来，通信系统的性能指标主要是有效性、可靠性、安全性和经济性。所谓优化，就是使这些指标达到最佳。除了经济性外，这些指标正是信息论研究的对象。按照不同的编码目的，编码问题可分为三类：信源编码、信道编码和安全编码(密码)。 5.0 编码基本概念 信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。 5.0 编码基本概念 信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。 5.0 编码基本概念 密码则是以提高通信系统的安全性为目的的编码。通常通过加密和解密来实现。从信息论的观点出发，加密可视为“增熵”的过程，解密可视为“减熵”的过程。 5.0 编码基本概念 一般情况下，信源编码可分为离散信源编码、连续信源编码和相关信源编码。离散信源编码可做到无失真编码；而连续信源编码则只能做到限失真编码。 5.0 编码基本概念 5.0.1 信源编码的一般模型 5.0 编码基本概念 如果将编码器看作是一个网络，则它有2个输入和1个输出，分别是消息集合X、信道基本符号集合A和代码集合C。 设消息集合共有N个元素，信道基本符号共有2种，代码组集合的元素个数为N，则 X={x1，x2，…，xN } A={0，1 } C={c1，c2，…，cN } 5.0 编码基本概念 由信源编码器的数学模型可将信源编码器的作用归纳为 (1)用信道的基本符号按照规定的编码方法把信源发出的消息变换成相应的代码组； (2)建立消息集合X与代码组集合C之间的一一对应关系。 5.0 编码基本概念 通常称具有上述映射规则的信源编码器为正规编码器，编出来的码称为非奇异码。 由于正规编码器一一对应的规则确保了编码过程不会造成信息量的损失，故等效信源的熵必定与初始信源的熵相等。 5.0 编码基本概念 5.0.2 几种常用的信源编码器 1、二进制信道的信源编码器 5.0 编码基本概念 2、莫尔斯编码信道的信源编码器(英文电报电传) 5.0 编码基本概念 3、汉字电报编码信道的信源编码器(中文电报电传) 5.0 编码基本概念 5.0.3 信息传输速率和编码效率 消息在信道上传输的过程中，每单位时间所传输的实际信息量称为信息传输速率。(其单位与信道容量相同，用符号Rt表示) 5.0 编码基本概念 1. 等长码的信息传输速率 对单符号离散信源，设其信源熵为H(X)，对其进行等长编码，每码字b个码元，故其信息传输速率为 R=H(X)/b 5.0 编码基本概念 2. 变长码的信息传输速率 设信源有N个单符号消息x1，x2，…，xN，变长码编码器输出的代码组长度对应为 b1, b2, …, bN ，其出现概率分别为 P(b1) , P(b2),…, P(bN)，则该变长码的平均长度为 5.0 编码基本概念 其信息传输速率为 5.0 编码基本概念 信源编码器输出代码组的信息传输速率与信道容量之比，称为信源编码器的编码效率。即 5.0 编码基本概念 5.0.4 最佳编码 通常称具有最短的代码组平均长度或编码效率接近于1的信源编码为最佳信源编码，亦简称为最佳编码。 最佳编码的目的：提高信道传输消息的有效性。 最佳编码的实质：减小每个符号所占用的时间长度，即让每个码元所携带的信息量最大。 5.0 编码基本概念 最佳编码的原则： ①把信源符号集合中出现概率大的符号编成长度较短的代码组，而把出现概率小的符号编成长度较长的代码组； ②信源编码器输出的代码组为单义可译码组，即序列中不必使用间隔就能把序列逐个分成代码组（因为间隔不携带信息量，使用了间隔自然降低了编码效率） 5.1 香农编码 5.1 香农编码 3.按照下式计算出各概率对应的码字长度ki；   4.把各个累加概率由十进制转化为二进制，取该二进制数的前ki位作为对应信源符号的码字。 5.1 香农编码 [例5.1.1] 某信源具有7个消息符号，其概率分别为：0.20, 0.19, 0.18, 0.17, 0.15, 0.1