信息理论基础第五章课件.ppt

唯一可译码的判别准则：考察码C中所有的码字，若Wi是Wj的前缀，则将相应的后缀作为一个尾随后缀码放入集合F0中，考察C和Fi两个集合，若Wi?C是Wj?Fi的前缀，或者Wi?Fi是Wj?C的前缀，则把相应的后缀作为尾缀放入集合Fi+1中；F＝∪Fi，即为码C的尾随后缀集合。若F中出现了C的元素，则不是唯一可译码，若F中没有出现信道饿元素，则是唯一可译码。例子5.4对同一信源进行编码，即时码或者唯一可译码有很多，究竟哪一种好？从传输的角度出发，总是希望码长短的码字好。变长码的码长应有平均码长来衡量。§5.3.3无失真变长编码定理定义定义平均码长为：当信源给定以后，信源熵H(S)就给定了，因此，可以定义信息传输率如下：定义编码后信道的信息传输率为:于是，平均码长越短，信息传输率就越高，我们总是需要编码的平均码长越短越好。最短的称为最佳码(紧致码).无失真信源编码的核心问题就是寻找紧致码，下面给出定理。定理离散无记忆信源S的熵为H(S),若对信源进行无失真变长编码,码符号集X中有r个符号,则总可以找到一种唯一可译码，其平均码长满足：证明：思考讨论注：1.平均码长不能小于下界，否则，不存在唯一可译码。2.如果超过上界，这样的码肯定不好。3.将熵以r进制为单位，定理的条件可以改写为….?证明：思考讨论§5.3.4香农第一编码定理定理离散无记忆信源S的熵为H(S),若对信源长为N的无记忆扩展信源进行编码,码符号集X中有r个符号,则总可以找到一种唯一可译码，其平均码长满足：当N无限增大时，有类似可以定义编码速率然后可以将定理改成编码速率的叙述。定义编码后信道的信息传输率为:定义定义编码效率为:一些注释见教材。定义定义码的剩余度为:例子,5.5§5.4变长码的编码方法(教材)§5.4变长码的编码方法(教材)作业1，2，3，4，5，8，12，13，14，16，18(选)第五章无失真信源编码信源编码是为了解决…..?。§5.1信源编码的相关概念将信源的原始符号按照一定的数学规则得到码序列的过程，称为编码。完成编码功能的器件称为编码器。接收端收到了是经过编码的码序列，为了正确理解信息，需要译码器译码。信源输出的符号序列，需要变换成适合信道传输的符号序列，一般称为码序列。编码器可以用下图表示：信源编码器信道码表图5-1信源编码器示意图信源编码器的输入是信源符号集S={s1,s2,…sq}，共有q个信源符号。码表又称码符号集，记为X={x1,x2,…xr},码符号集中的元素称为码元或者码符号。编码器的作用就是将信源符号集中的符号si变成由li个码符号组成的一一对应的码符号序列，称为码字。用ωi表示。对应的li称为码字长度或码长。编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。若要实现无失真编码，这种变换应该是一一对应、可逆的。无失真编码主要针对离散信源，对于连续信源在量化的过程中必然有量化失真。编码器信源符号集码符号集码字集是由个组成的序列，并与一一对应如何实现编码？编码方法。信源编码主要有三种类别的编码方法：匹配编码(香农编码、Huffman编码、Fano编码)，变换编码(DFT变换，DCT，小波变换)，识别编码(印刷，中文文字和语音的识别)。信源编码的主要任务就是减少冗余度，提高编码效率。如何去除冗余度？一是去除相关性，(通常采取的方式是对信源的符号序列进行编码而不是对单个符号进行编码)二是使编码后的各个码符号出现的概率尽可能地相等。(这可以通过概率匹配的方法来实现)例子5.1§5.1.2码的分类?1.分组码与非分组码定义将信源符号集中的每一个符号都固定地映射成一个码字，这个的码称为分组码。与分组码对应的是非分组码，又称为树码。?2.奇异码与非奇异码定义若一个分组码中所有的码字都不相同，则称此码为非奇异码。否则为奇异码。例子见教材。?3.唯一可译码与非唯一可译码定义任意有限长的码元序列，如果只能唯一地分割成一个个码字，便称为唯一可译码。一个分组码对于任意有限的整数N，其N次扩展码均为非奇异的，则为唯一可译码。(例子见教材)?