信息论基础和 与编码课件第5章信源编码.ppt

第5章 信源编码;*;信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 信道编码：是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。 密码：是以提高通信系统的安全性为目的的编码。通常通过加密和解密来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。;信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。 无失真信源编码定理：是离散信源/数字信号编码的基础； 限失真信源编码定理：是连续信源/模拟信号编码的基础。 信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源编码； 相关信源编码：非独立信源编码。;内容简介;*; 唯一可译码：任意有限长的码元序列，只能被唯一地分割成一个个的码字，这种码称为唯一可译码。 比如 ， ， ， 就是唯一可译码。 唯一可译码又分为非即时码和即时码两种。 非即时码：即接收端收到一个完整的码字后不能立即译码，还需要等下一个码字开始接收后，才能判断是否可以译码。比如 ， ， ， 就是非即时码。 即时码：即时码也称非延长码或异前缀码，即任意一个码字都不是其他码字的前缀部分，如果一个码组中的任一个码字都不是另一个码字的续长，或者说，任何一个码字后加上若干码元后都不是码组中另一个码字。比如 ， ， ， 就是即时码。 ;所有的码;即时码的树图构造法; 在每个节点上都有r个分枝的树称为整树，否则称为非整树。 即时码的树图还可以用来译码;克拉夫特（Kraft）不等式;Kraft不等式是惟一可译码存在的充要条件，其必要性表现在如果码是惟一可译码，则必定满足Kraft不等式;充分性??现在如果满足Kraft不等式，则这种码长的惟一可译码一定存在，但并不表示所有满足Kraft不等式的码一定是惟一可译码。 因此，克拉夫特不等式是惟一可译码存在的必要条件，而不是惟一可译码的充要条件。;唯一可译变长码的判断方法 根据上面的定理可知，不满足Kraft不等式的肯定不是唯一可译码，满足Kraft不等式的不一定是唯一可译码 根据定义的判断法：将码C中所有码字可能的尾随后缀组成一个集合F，当且仅当集合F中没有包含任何码字的时候，则码C为唯一可译码;唯一可译码的判断步骤 观察最短的码字是否是其它码字的前缀，如果是将所有可能的尾随后缀列出 观察上面的尾随后缀是否是其它码字的前缀，或者其它码字是这些尾随后缀的前缀，若是将由这些尾随后缀产生新的尾随后缀列出 ┇ 直到没有一个尾随后缀是其它码字的前缀或其它码字是它的前缀 由所有的尾随后缀构成集合F 判断F中是否有码字存在;例：判断C＝{0,10,1100,1110,1011,1101}是否为唯一可译码？ 解：首先判断是否满足Kraft不等式;最短的码字是0，不是其它码字的前缀，故没有尾随后缀 次短的码字是10，是码字1011的前缀，故产生一个尾随后缀11 第二步的尾随后缀11又是码字1100，1110以及1101的前缀，故可产生3各新的尾随后缀：00，10，01 此时码字0又是上面尾随后缀00，01的前缀，故产生新的尾随后缀0，1;同时上一步尾随后缀1，又是码字1100，1110，1011，1101的前缀，产生了新的尾随后缀：110，011，101 此时的F集合为：F＝{11，00，10，01，0，1，110，011，101} F集合了包含了码字0，10，所以C不是唯一可译码 ;例：判断码字C＝{110,11,100,00,10}是否为唯一可译码 解：首先判断是否满足Kraft不等式;最短的码字为11，00，10 首先看11，是码字110的前缀，故产生尾随后缀0 尾随后缀0不是任何码字的前缀，任何码字也不是它的前缀 再看00，不是任何码字的前缀，故没有尾随后缀产生 最后看10，是码字100的前缀，故产生尾随后缀0 尾随后缀0分析同上 集合F＝{0}，不包含任何码字 故码C是一个唯一可译码;*;;;;;*;24;;*;*;概率统计特性，把信源符号集合中出现概率大的符号编成较短的码字，而对那些出现概率小的符号编成较长的码字，使平均码长最短。下面介绍三种最佳码的编码方法：香农编码、费诺编码和霍夫曼编码。 1．香农编码 香农第一定理