信源编码编码定义及定长编码原理.pptVIP

第五章 信源编码 5.1编码的定义 5.2无失真信源编码 5.2.1定长编码定理 回顾：为什么进行信源编码？ 理论上，信源传送信息所需要的信息率：极限熵H∞（X）或信息率失真函数R（D）. 极限熵H∞（X） ：多符号离散平稳信源实际上就是原始信源在不断地发出符号，随着信源之间的依赖关系（即信源的相关性）变多，信源的实际熵越小（第二章P32-33证明），越趋于H∞（X）。所以H∞（X）是离散平稳有记忆信源平均每发一个符号提供的信息量的最小值。 信息率失真函数R（D）：从允许一定失真的条件下，我们去寻找可以用较小的信息率来传送信息，即去掉某些不必要的成分，这时得到的信息率的最小值是R（D）。 由此可见，极限熵H∞（X）或信息率失真函数R（D）是理论上传送信息的最小值。而实际上，信源发出消息时包含了多余信息，即存在冗余度，冗余度体现了信源输出信号的信息携带效率。 冗余度 定义：衡量信源发出消息时包含了多余信息的物理量 来源： 1.信源符号的相关性。相关程度越大，信源的实际上越小，越趋向于H∞（X） 。 2.信源符号分布的不均匀性。等概率分布时信源熵最大，不均匀分布时，信源熵减小。当各符号之间不存在依赖关系且为等概率分布时，信源实际熵趋于最大熵H0（X） 下面，以英文为例，计算文字信源的冗余度： 首先给出英文字母（含空档）出现概率如下： 下面，首先求得独立等概率情况，即 其次，计算独立不等概率情况， 再次，若仅考虑字母有一维相关性，求H2 最后，利用统计推断方法求出，由于采用的逼近的方法和所取的样本的不同，推算值也有不同，这里采用Shannon的推断值。 采用等概率下传送方式，计算得 这样，可以计算出R=0.71。这一结论说明，英文信源，从理论上看71％是多余成分。直观地说100页英文书，理论上看仅有29页是有效的，其余71页是多余的。正是由于这一多余量的存在，才有可能对英文信源进行压缩编码。 消息的冗余，特别是大量的冗余，为我们提高通信效率，压缩信号容量提供了基础。为了提高传输效率，对大量冗余进行压缩，即信源编码。 信源编码 信源编码是以提高通信的有效性为目的编码。 采用的一般方法是压缩每个信源符号的平均比特数。同样多的信息用较少的信息率来传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 信源编码的目的就是要减少冗余，提高编码效率。 信源编码的基本途径（即消除冗余度来源的途径）有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 根据能否在解码后完全准确的恢复出原始消息（可逆）分为： 无失真信源编码 限失真信源编码 无失真编码只适用于离散信源；对于连续信源，只能在失真受限制的情况下进行限失真编码。前者主要用于文字、数据信源的压缩;后者主要用于图像、语音信源的压缩。 一般地：由于这些定理都要求符号数很大（参考极限熵H∞（X）序列长趋向于∞ ）才能使它的值接近所规定的值，因而这些定理被称为极限定理。 1.无失真信源编码定理称为第一极限定理； 2.信道编码定理(包括离散和连续信道)称为第二极限定理； 3.限失真信源编码定理称为第三极限定理。 这些定理的完善化，是香农信息论的主要内容。 编码定理不但证明了必然存在一种编码方法，使代码的平均长度可任意接近但不能低于符号熵，而且还阐明了达到这目标的途径，就是使概率与码长匹配。 例如之后学习的变长编码，使出现概率小的信源符号用短码编，出现概率大的用长的码编，这样就可以使平均每个信源符号的输出符号降低。以哈夫曼编码为例： 哈夫曼编码的编码结果可以看出，信源出现符号小的a7编码长度是4位，信源出现符号小的a1编码长度是2位，平均码长计算得2.72码元/符号，输出符号码长减小。 信源编码（主要内容） 信源编码定理 信源编码基本概念 定长信源编码 变长信源编码 信源编码方法 离散信源编码 连续信源编码 相关信源编码 变换编码 5.1编码的定义 分组码定义：将信源消息分成若干组，即符号序列Xi=[xi1,xi2,...,xiL],序列中的每一个符号取自于符号集A，xil属于{a1 ， a2 ，··· ， ai ，··· ， an}，而每个符号序列Xi依照固定的码表映射成一个码字Yi，这样的码称为分组码，有时也叫块码。 分组码百科定义：它把信源待发的信息序列按固定的κ位一组划分成消息组,再将每一消息组独立变换成长为n(n＞κ)的二进制数字组,称为码字。如果消息组的数目为M(显然M≤2κ),由此所获得的M个码字的全体便称为码长为n、信息数目为M的分组码,记为【n，M】。 只有分组码才有对应的码表，而非分组码中不存在码表。 编码定义：二元信道（基本符号0,