《信息论》电子科大第三章离散信源无失真编码.pptVIP

例2，分别对下列单符号离散信源和该信源的二次扩展信源 编二进制香农码，并计算其编码效率。 解：⑴对单符号离散信源编码 pa(x1)=0 pa(x2)=0+0.5=0.5 pa(x3)=0.5+0.3=0.8 pa(x1)=0.0=(0.0)2→0 pa(x2)=0.5=(0.10)2→10 pa(x3)=0.8=(0.110…)2→110 xi p(xi) pa(xj) ki 码字 x1 0.5 0 1 0 x2 0.3 0.5 2 10 x3 0.2 0.8 3 110 ⑵对二次扩展信源编码 将符号元ai按概率进行降序排列 pa(a1)=0 pa(a2)=0+0.25=0.25 pa(a3)=0.25+0.15=0.4 pa(a4)=0.4+0.15=0.55 pa(a5)=0.55+0.1=0.65 pa(a6)=0.65+0.1=0.75 pa(a7)=0.75+0.09=0.84 pa(a8)=0.84+0.06=0.9 pa(a9)=0.9+0.06=0.96 pa(a1)=0.0=(0.00)2→00 pa(a2)=0.25=(0.010)2→010 pa(a3)=0.4=(0.011…)2→011 pa(a4)=0.55=(0.1000…)2→1000 pa(a5)=0.65=(0.1010…)2→1010 pa(a6)=0.75=(0.1100)2→1100 pa(a7)=0.84=(0.11010…)2→11010 pa(a8)=0.9=(0.11100…)2→11100 pa(a9)=0.96=(0.11101…)2→11101 ai p(ai) pa(aj) ki 码字 a1 0.25 0 2 00 a2 0.15 0.25 3 010 a3 0.15 0.4 3 011 a4 0.1 0.55 4 1000 a5 0.1 0.65 4 1010 a6 0.09 0.75 4 1100 a7 0.06 0.84 5 11010 a8 0.06 0.9 5 11100 a9 0.04 0.96 5 11101 习题：5.1 四、哈夫曼(Huffman)编码 设离散信源 哈夫曼编码也是一种采用异前置码的m进制编码方法。 不失一般性，设p(x1)p(x2)…p(xn)，且 哈夫曼编码的编码效率高于香农编码。 二进制哈夫曼码的编码步骤如下： ①将符号元按概率进行降序排列； ②为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元0； ③将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率； 重复以上三个步骤，直到最后合并出一个以1为概率的符号元，结束编码。 例1，对单符号离散信源 编二进制哈夫曼码，并计算其编码效率。 解：①将符号元按概率进行降序排列 符号元 概率 x1 0.5 x2 x3 x4 0.3 0.15 0.05 1 0 ②为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元0； 符号元 概率 x1 0.5 x2 x3 x4 0.3 0.15 0.05 ③将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率； 0.2 x′3 重复以上三个步骤，直到最后合并出一个以1为概率的符号元，结束编码。 符号元 概率 x1 0.5 x2 x′3 0.3 0.2 1 0 0.5 x′2 符号元 概率 x1 0.5 x′2 0.5 1 0 1 x′1 码字 码长 符号元 概率 x1 0.5 x2 x3 x4 0.3 0.15 0.05 0.2 0.5 1 1 1 1 0 0 0 0 10 110 111 1 2 3 3 整个编码过程集中在一起，即为 显然，所编哈夫曼码构成二元码树，为异前置码。 例2，分别对下列单符号离散信源和该信源的二次扩展信源 编二进制哈夫曼码，并计算其编码效率。 解：⑴对单符号离散信源编码 符号元 概率 x1 0.5 x2 x3 0.3 0.2 0.5 1 0 1 1 0 码字 码长 0 10 11 1 2 2 ⑵对二次扩展信源编码 将符号元ai按概率进行降序排列 哈夫曼编码过程为 0.1 0.2 1 1 1 1 0 0 0 符号元 概率 a1 0.25 a2 a3 a4 0.15 0.15 0.1 a5 0.1 a6 a7 0.09 0.06 a8 0.06 a9 0.04 0.15 1 0 0.25 0.3 1 0 1 0 0.45 1 0 0.55 1 0 0.1 0.2 1 1 1 1 0 0 0 符号元 概率 a1 0.25 a2 a3 a4 0.15 0.15 0.1 a5 0.1 a6 a7 0.09 0.06 a8 0.06 a9 0.04 0.15 1 0 0.25 0.3 1 0 1 0 0.45 1 0 0