第5章信源编码技术总汇.pptVIP

第5章 信源编码技术;5.1 最佳变长编码;5.1.1 香农码;香农码编码方法 (1)将信源消息符号按其出现的概率大小依次排列为;;;总结： 1、由于每个信源符号码长是根据信源符号的信息量选择，从局部来看每个码长的取值都是最佳的。所以从局部看，香农码是最佳码。 但是香农码构造码字时没有综合使用信源统计特性，所以码长并非最短的。 2、香农码编码采用累计概率小数部分的二进制表示作为码字，从而保证了码字是唯一可译码的。; 5.1.2费诺码;费诺二元码的编码步骤;例5.2对例5.1的信源进行费诺编码,，具体编码过程参见表5.2 ;0;总结： 1、费诺码要比上述香农码的平均码长小，编码效率高。 2、从上面的例子可以看出，p(a4)p(a2)，而码长L4L2，从统计角度来看，平均码长一定不是最短的; 如果将两个符号对应的码字互换，这样编码得到的平均码长肯定小于原来的???均码长。 3、费诺码的平均码长满足;费诺码的最佳性 1、保证每个集合概率和近似相等，保证d个码元近似等概率，每个码字承载的信息量最大，码长近似最短。 2、是次最佳的编码方法，只在当信源符号概率满足： 时达最佳。;0;5.1.3哈夫曼码;Huffman码的最佳性;关于含义①： 对于符号a1,a2，码长分别为n1,n2 如果p(a1)p(a2),那么当n1n2时，平均常常最短。 假如n1n2，则有 n2 p(a1)+n1 p(a2) n1 p(a1)+n2 p(a2) 所以，定理的第①部分成立。 关于含义②：二元Huffman码不可能出现单分支。;对信源 且假定 对aK-1和aK的码字最后一位分别指定0、1，然后合并，产生辅助符号a’k-1,做一辅助集 排序后;对剩下的符号重复合并最小概率符号，分配码元0、1，到最后对两个符号重复上述操作，编码完成。 定理2 编码对辅助集最佳，对原始集也最佳。（平均码长最短）;二元码的哈夫曼编码步骤;例5.3 对例5.1的信源符号进行哈夫曼编码，给出编码过程，每个信源符号的码字，码长，求平均码长、编码效率。;信源符号 概率;平均码长 编码效率;关于哈夫曼编码的讨论 1、每次对信源缩减时，赋予信源最后两个概率最小的符号，分配码元0和1是可以任意的，即大概率符号或者合并后的符号集合可以分配码元0也可以是1，这种选择任意性可以得到不同的哈夫曼码，但不会影响码字的长度。 2、对信源进行缩减时，如果两个概率最小的符号合并后的概率与其它信源符号的概率相同, 应当放在上面，以便减少更多符号分配更长码的可能。;例5.4 设有离散无记忆信源的概率空间为;根据两种方法的编码结果，计算两种哈夫曼码的平均码长，相等，即 ;哈夫曼码的主要特点 1、哈夫曼码的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码； 2、缩减信源的两个码字的最后一位总是不同，可以保证构造的码字为即时码。 3、哈夫曼码的效率是相当高的，既可以使用单个信源符号编码，也可以对信源序列编码。 4、要得到更高的编码效率，可以使用较长的序列进行编码。;;算术编码;累计分布函数的定义;算术编码的定义;算术编码;累计分布函数的计算;算术编码;算术码的截短规则;例5.7 离散无记忆信源X的概率空间为 信源输出符号序列 ，描述算术编码过程。 解：首先计算条件累计概率 令 ，然后编码。;（1）对第一个符号 进行编码，得到 （2）对第二个符号 进行编码，得到 （3）对第三个符号 进行编码，得到 （4）对四个符号 进行编码，得到 ;将 用 位二进制表示 将小数点后8位作为码字输出，得 编码图;算术码译码;算术编码的特点;5.2 编码的实现;对于译码器而言，必须知道信源编码使用的码表和每个码字对应的长度等相关信息，才能够实现正确译码，以便重建信源发送的消息符号序列。;根据统计特性，码表产生器进行编码，得到每个信源符号或者符号序列对应的码字和码长，即产生码表。对于离散无记忆信源，每个符号都对应一个码字并有一个码长；而对于记忆信源，每个序列对应一个码字和码长。 将序列符号、序列长度、码字及码长等信息按照约定规则经过信道传输给译码器，译码器才能够根据这些信息进行正确译码。 信源编码器根据码表产生器产生的码表，对给定信源输出符号序列按照先后顺序进行编码，产生码流（码字序列），并经过信道将码流传输给译码器。 信源译码器根据接收到的序列符号、序列长度、码字和码长，对接收到的码流进行译码，再现或者重建信源发送的消息。 ;;实际应用中，信源编码使用的码表是根据一类信源的统计特性