第五章信源编码编码定义与定长编码.pptVIP

非整树图例 即时码的构造－树图法 编码：用树图法构造即时码，只要将信源符号全部对应于终端节点，而不是中间节点即可。这样就可以保证任何一个码字都不是其它码字的前缀 解码：按照码符号的顺序，从根节点依次查询到终端节点，就得到对应的信源符号。再从根节点对剩下的码符号序列做相同的处理，直到处理完码符号序列中所有的码符号 对应表中的码4分析 唯一可译码存在的充要条件 克劳夫特不等式：m是进制数，n是信源符号数 1.唯一可译码必定满足不等式 2.满足不等式的码存在唯一可译码，但不一定是唯一可译码 此定理只证明存在性 例题p88 无失真信源编码－概念 无失真信源编码： 要求精确地复现信源的输出 保证信源的全部信息无损的送给信宿 研究方法： 只考虑有效性，不考虑可靠性 将信道编解码看成一个无噪无损信道 输入序列X长度L，每一位n种可能。编码后Y的长度是KL，每一位m种可能。 北京邮电大学周炯槃的书中解释无失真条件： 无失真：nL ≤mK(每个消息序列有对应的编码码组) 信源输出有效： nL 大于等于mK（编码输出的码组数小于信源消息序列总数） 信源编码 输入 输出 X＝[X1,X2,…XL] Y＝[Y1,Y2,…YKL] 由无失真条件可得： 编码的目的：希望传送Y时所需的信息率（信息率是通过接收到的信息可获得的发送信息的信息量,即互信息。单位:bit/符号）最小。 序列Y的最大信息量是K·logm(序列长乘以每个符号的最大信息熵) 所以送一个信源符号x需要的平均信息率为： 信息率最小就是找到一种编码方式使 最小。 第五章信源编码编码定义与定长编码 回顾：为什么进行信源编码？ 理论上，信源传送信息所需要的信息率：极限熵H∞（X）或信息率失真函数R（D）. 极限熵H∞（X） ：多符号离散平稳信源实际上就是原始信源在不断地发出符号，随着信源之间的依赖关系（即信源的相关性）变多，信源的实际熵越小（第二章P32-33证明），越趋于H∞（X）。所以H∞（X）是离散平稳有记忆信源平均每发一个符号提供的信息量的最小值。 信息率失真函数R（D）：从允许一定失真的条件下，我们去寻找可以用较小的信息率来传送信息，即去掉某些不必要的成分，这时得到的信息率的最小值是R（D）。 由此可见，极限熵H∞（X）或信息率失真函数R（D）是理论上传送信息的最小值。而实际上，信源发出消息时包含了多余信息，即存在冗余度，冗余度体现了信源输出信号的信息携带效率。 冗余度 定义：衡量信源发出消息时包含了多余信息的物理量 来源： 1.信源符号的相关性。相关程度越大，信源的实际上越小，越趋向于H∞（X） 。 2.信源符号分布的不均匀性。等概率分布时信源熵最大，不均匀分布时，信源熵减小。当各符号之间不存在依赖关系且为等概率分布时，信源实际熵趋于最大熵H0（X） 下面，以英文为例，计算文字信源的冗余度： 首先给出英文字母（含空档）出现概率如下： 下面，首先求得独立等概率情况，即 其次，计算独立不等概率情况， 再次，若仅考虑字母有一维相关性，求H2 最后，利用统计推断方法求出，由于采用的逼近的方法和所取的样本的不同，推算值也有不同，这里采用Shannon的推断值。 采用等概率下传送方式，计算得 这样，可以计算出。这一结论说明，英文信源，从理论上看71％是多余成分。直观地说100页英文书，理论上看仅有29页是有效的，其余71页是多余的。正是由于这一多余量的存在，才有可能对英文信源进行压缩编码。 消息的冗余，特别是大量的冗余，为我们提高通信效率，压缩信号容量提供了基础。为了提高传输效率，对大量冗余进行压缩，即信源编码。 信源编码 信源编码是以提高通信的有效性为目的编码。 采用的一般方法是压缩每个信源符号的平均比特数。同样多的信息用较少的信息率来传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 信源编码的目的就是要减少冗余，提高编码效率。 信源编码的基本途径（即消除冗余度来源的途径）有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 根据能否在解码后完全准确的恢复出原始消息（可逆）分为： 无失真信源编码 限失真信源编码 无失真编码只适用于离散信源；对于连续信源，只能在失真受限制的情况下进行限失真编码。前者主要用于文字、数据信源的压缩;后者主要用于图像、语音信源的压缩。 一般地：由于这些定理都要求符号数很大（参考极限熵H∞（X）序列长趋向于∞ ）才能使它的值接近所规定的值，因而这些定理被称为极限定理。 1.无失真信源编码定理称为第一极限定理； 2.信道编码定理(包括离散