ITD第三章1无失真信源编码.pptVIP

第三章 无失真信源编码 第一节 编码的定义 引言 编码分为信源编码和信道编码，其中信源编码又分为无失真信源编码和限失真信源编码。 无失真信源编码：适用于离散信源或数字 信号。 限失真信源编码：主要用于连续信源或模拟信号，如语音、图像等信号的数字处理。 香农信息论三大定理 : 1. 第一极限定理:无失真信源编码定理. 第二极限定理: 信道编码定理（包括离 散和连续信道）. 3. 第三极限定理: 限失真信源编码定理. 信源编码的主要任务是什么? 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。 信源编码的基本途径 是什么? 信源编码的基本途径有两个，一是使序列中的各个符号尽可能地互相独立，即解除相关性；二是使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 编码定理证明： （1）必存在一种编码方法，使代码的平均长度可任意接近但不能低于符号熵 （2）达到这目标的途径，就是使概率与码长匹配。 第一节 编码的定义 什么分组码？ 设: 信源消息为符号序列Xi， ， 序列中的每个符号取自于符号集A， 。而每个符号序列Xi依照固 定的码表映射成一个码字Yi，这样的码称为分组 码，有时也叫块码。只有分组码才有对应的码表， 而非分组码中则不存在码表。 分组码的一些直观属性 设: 信源输出的序列长度为1，即信源符号集 信源概率空间为： 二元信道的信道基本符号集为{0，1}。若将信源 X通过一个二元信道传输，就必须把信源符号xi 变换成由0，1符号组成的码符号序列，即编码。 可用不同的码符号序列，如表3－11所示。 见书 (P35) 分组码的一些直观属性 码 码树图 唯一可译码存在的充分和必要条件 用树的概念可导出唯一可译码存在的充分和必要条件，即各码字的长度Ki应符合克劳夫特不等式： (3-1-1) 式中，m是进制数，n是信源符号数。 无失真信源编码定理要研究的内容 若信源输出符号序列的长度 ，即 变换成由KL个符号组成的码序列（码字) 变换的要求: (1)能够无失真或无差错地从Y恢复X，也就是能正确地进行反变换或译码 (2)传送Y时所需要的信息率最小 由于Yk可取m种可能值，即平均每个符号输出的最大信息量为logm，KL长码字的最大信息量为KLlogm。用该码字表示L长的信源序列,则送出一个信源符号所需要的信息率平均为: 其中 是Y所能编成的码字的个数。 信息率最小，就是找到一种编码方式使 最小。 无失真信源编码定理要研究的内容: (1)最小信息率为多少时，才能得到无失真的译码？ (2)若小于这个信息率是否还能无失真地译码？ 第二节 定长编码定理 定长编码定理 由L个符号组成的、每个符号的熵为HL（X）的无记忆平稳信源符号序列 ，可用KL个符号 （每个符号有m种可能值）进行定长编码。对任意 ，只要 则当L足够大时，必可使译码差错小于 ；反之，当 时，译码差错一定是有限值，而当L足够大时，译码几乎必定出错。 说明 （1）当编码器容许的输出信息率，也就是当每个信源符号所必须输出的码长是 时，只要 ，这种编码器一定可以做到几 乎无失真，也就是收端的译码差错概率接近于零， 条件是所取的符号数L足够大。 （2）将定理的条件改写成 其中：左边：KL长码字所能携带的最大信息量， 右边：L