信源编码-公开课件.ppt

第5章 信源编码;信源编码;信源编码的技术路径： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。;理论基础：是信息论中的两个编码定理： 无失真编码定理。只适用于离散信源。 限失真编码定理。对于连续信源，只能在失真受限制的情况下进行限失真编码。 ;5.1.4 赫夫曼编码;如何分离码字？;判断以下码字是否可分离？; 对离散无记忆信源，消息长度为L，符号熵为H(X),对信源进行m元变长编码，一定存在无失真的信源编码方法，;§5.1.2 香农编码;1;例5.1.2;编码过程：;;§5.1.3 费诺编码;设有一单符号离散无记忆信源;编码过程;可以看出本例中费诺码有较高的编码效率。费诺码比较适合于每次分组概率都很接近的信源。;树图：;将信源符号按概率由大到小顺序排队。;设有一单符号离散无记忆信源;编码过程;;;说明：Huffman码的编码方法不是唯一的。 首先，每次对缩减信源两个最小的符号分配“0”和“1”码元试任意的，所以可得到不同的码字。只要在各次缩减信源中保持码元分配的一致性，即能得到可分离码字。不同的码元分配，得到的具体码字不同，但码长，平均码长都不变，所以没有本质区别。 其次，若合并后的新符号的概率与其他符号的概率相等，从编码的方法上来说，这几个符号的次序可任意排列，编出的码都是正确的，但得到的码字不同。不同的编法得到的码字长度也不尽相同。;设有离散无记忆信源;方法一;;平均码长和编码效率;两种编码方法编出的码字的码长方差比较;可以看出第二种编码方法的码长方差要小许多。这意味着第二种编码方法的码长变化较小，比较接近平均码长。由此可以得到一个结论(怎样得到码方差较小的huffman编码)。;结论： 进行赫夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，以减少再次合并的次数，充分利用短码。 ;对信源进行缩减时，两个概率最小的符号合并后的概率与其它信源符号的概率相同时，这两者在缩减信源中进行概率排序，其位置放置次序是可以任意的，故会得到不同的赫夫曼码。此时将???响码字的长度，一般将合并的概率放在上面，这样可获得较小的码方差。;阅读例 5.1.7;游程序列;二元序列：000101110010001……; 0：长度为1的“0”游程 0000：长度为4的“0”游程 111：长度为3的“1”游程 长度为n的“1”游程 ;多元序列也存在相应的游程序列 多元序列变换成游程序列再进行压缩编码没有多大意义 游游程编码只适用于二元序列，对于多元信源，一般不能直接利用游程编码 ; 因为游程变换是一一对应的可逆变换，所以游程变换后，熵不变。;;000101110010001……;例;0;“1”游程长度信源;00010111001000011110011000101110;冗余位;冗余位序列;第;例;T=47。