信息论导论-第3章_2013解读.pptVIP

* 1 0 ②为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元0； 符号元 概率 x1 0.5 x2 x3 x4 0.3 0.15 0.05 ③将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率； 0.2 x′3 四、霍夫曼(Huffman)编码 * 重复以上三个步骤，直到最后合并出一个以1为概率的符号元，结束编码。 符号元 概率 x1 0.5 x2 x′3 0.3 0.2 1 0 0.5 x′2 符号元 概率 x1 0.5 x′2 0.5 1 0 1 x′1 四、霍夫曼(Huffman)编码 * 码字 码长 符号元 概率 x1 0.5 x2 x3 x4 0.3 0.15 0.05 0.2 0.5 1 1 1 1 0 0 0 0 10 110 111 1 2 3 3 显然，所编霍夫曼码构成二元码树，为异前置码。 四、霍夫曼(Huffman)编码—整个过程 * 四、霍夫曼(Huffman)编码 * 例2，分别对下列单符号离散信源和该信源的二次扩展信源 编二进制霍夫曼码，并计算其编码效率。 解：⑴对单符号离散信源编码 符号元 概率 x1 0.6 x2 x3 0.3 0.1 0.4 1 0 1 1 0 码字 码长 0 10 11 1 2 2 四、霍夫曼(Huffman)编码 * 四、霍夫曼(Huffman)编码 * ⑵对二次扩展信源编码 将符号元ai按概率进行降序排列 霍夫曼编码过程为 四、霍夫曼(Huffman)编码 * 0.04 0.07 1 1 1 1 0 0 0 符号元 概率 a1 0.36 a2 a3 a4 0.18 0.18 0.09 a5 0.06 a6 a7 0.06 0.03 a8 0.03 a9 0.01 0.12 0 1 0.16 0.36 1 0 1 0 0.28 1 0 0.64 1 0 四、霍夫曼(Huffman)编码 * 0.04 0.07 1 1 1 1 0 0 0 符号元 概率 a1 0.36 a2 a3 a4 0.18 0.18 0.09 a5 0.06 a6 a7 0.06 0.03 a8 0.03 a9 0.01 0.12 0 1 0.16 0.36 1 0 1 0 0.28 1 0 0.64 1 0 码字 码长 1 000 0100 010101 001 0111 01011 0110 1 3 4 6 3 4 5 4 6 010100 四、霍夫曼(Huffman)编码 * 四、霍夫曼(Huffman)编码 * 例3，对单符号离散信源 用两种方法对其进行二进制霍夫曼编码，并计算其平均码长。 解：（1）将合并后的新符号排在其他相同概率符号之后 编霍夫曼码的过程如下： 四、霍夫曼(Huffman)编码 * 符号元 概率 x1 0.4 x2 x3 x4 0.2 0.2 0.1 x5 0.1 0.2 1 1 1 0 0 0.4 0 0.6 0 1 码字 码长 1 01 0011 0010 000 1 2 3 4 4 1 四、霍夫曼(Huffman)编码 * （2）将合并后的新符号排在其他相同概率符号之前 编霍夫曼码的过程如下： 四、霍夫曼(Huffman)编码 * 符号元 概率 x1 0.4 x2 x3 x4 0.2 0.2 0.1 x5 0.1 1 0 0.2 1 0 0.4 1 0 0.6 1 0 1 码字 码长 00 10 11 010 011 2 2 2 3 3 四、霍夫曼(Huffman)编码 * 可见，采用不同排列方法编出的霍夫曼码，其码字和码长可能完全不相同，但平均码长一定是相等的，因此编码效率不会因排列方法而改变。 四、霍夫曼(Huffman)编码 * National Key Lab of Communication, UESTC * 习题： 对“My products are my students”进行二进制霍夫曼编码，并计算编码效率和压缩比。 提示： 注意区分大小写字母，和空格。这句话不包括引号。 用符号出现的频率代替概率。 假定编码之前每个字符占用8bit存储空间。压缩比=压缩后存储空间/压缩前存储空间 * * Let’s * 设m元异前置码第i个码字的长度为ki , i=1,2, …,n 考虑一个N级满树，在第N级共有mN个节点，在第ki级共有mki个节点。 根据异前置码的定义，第i个码字后的节点不能再用，故第N级不能用的节点数为mN-ki 构造异前置码的码树图第N级上总共不能用的节点总数 二、无失真编码定理 * 【无失真编码定理】 如果N维离散平稳信源的平均符号熵为HN(X1X2…XN)，对信源符号序列进行m元不等长组编码，一定存在一种无失真编码方法，当N足够大时，使得每个信源符号所对应码字的平均比特数 式中，ε为任意给定的小正