四川大学多媒体课件课本3.pptVIP

熵 假定： 某些符号出现概率比其他符号大 例：N = 8 symbols: {a,b,c,d,e,f,g,h}, 3 bits per symbol (N =23=8) P(a) = 0.01 P(b) =0.02 P(c) =0.05 P(d) =0.09 P(e) =0.18 P(f) =0.2 P(g) =0.2 P(h) =0.25 Huffman coding Huffman coding 平均代码长度 (编码前): 熵: 平均代码长度 ( Huffman coding): Shannon-Fano coding 符号 出现的次数 分配的代码 需要的位数 A 15 (0.375) 1.4150 00 30 B 7 (0.175) 2.5145 01 14 C 7 (0.175) 2.5145 10 14 D 6 (0.150) 2.7369 110 18 E 5 (0.125) 3.0000 111 15 Shannon-Fano coding Shannon-Fano 算法步骤： Step1：将源符号及其概率按非增次序排列； Step2：将符号分成概率和最接近的两组（各1/2），第1组以0开始编码，第2组以1开始编码；