《信息论》(电子科大)第3章 离散信源无失真编码.pptVIP

例2，分别对下列单符号离散信源和该信源的二次扩展信源 编二进制香农码，并计算其编码效率。 解：⑴对单符号离散信源编码 pa x1 0 pa x2 0+0.5 0.5 pa x3 0.5+0.3 0.8 pa x1 0.0 0.0 2→0 pa x2 0.5 0.10 2→10 pa x3 0.8 0.110… 2→110 xi p xi pa xj ki 码字 x1 0.5 0 1 0 x2 0.3 0.5 2 10 x3 0.2 0.8 3 110 ⑵对二次扩展信源编码 将符号元ai按概率进行降序排列 pa a1 0 pa a2 0+0.25 0.25 pa a3 0.25+0.15 0.4 pa a4 0.4+0.15 0.55 pa a5 0.55+0.1 0.65 pa a6 0.65+0.1 0.75 pa a7 0.75+0.09 0.84 pa a8 0.84+0.06 0.9 pa a9 0.9+0.06 0.96 pa a1 0.0 0.00 2→00 pa a2 0.25 0.010 2→010 pa a3 0.4 0.011… 2→011 pa a4 0.55 0.1000… 2→1000 pa a5 0.65 0.1010… 2→1010 pa a6 0.75 0.1100 2→1100 pa a7 0.84 0.11010… 2→11010 pa a8 0.9 0.11100… 2→11100 pa a9 0.96 0.11101… 2→11101 ai p ai pa aj ki 码字 a1 0.25 0 2 00 a2 0.15 0.25 3 010 a3 0.15 0.4 3 011 a4 0.1 0.55 4 1000 a5 0.1 0.65 4 1010 a6 0.09 0.75 4 1100 a7 0.06 0.84 5 11010 a8 0.06 0.9 5 11100 a9 0.04 0.96 5 11101 习题：5.1 四、哈夫曼 Huffman 编码 设离散信源 哈夫曼编码也是一种采用异前置码的m进制编码方法。 不失一般性，设p x1 p x2 … p xn ，且 哈夫曼编码的编码效率高于香农编码。 二进制哈夫曼码的编码步骤如下： ①将符号元按概率进行降序排列； ②为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元0； ③将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率； 重复以上三个步骤，直到最后合并出一个以1为概率的符号元，结束编码。 例1，对单符号离散信源 编二进制哈夫曼码，并计算其编码效率。 解：①将符号元按概率进行降序排列 符号元 概率 x1 0.5 x2 x3 x4 0.3 0.15 0.05 1 0 ②为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元0； 符号元 概率 x1 0.5 x2 x3 x4 0.3 0.15 0.05 ③将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率； 0.2 x′3 重复以上三个步骤，直到最后合并出一个以1为概率的符号元，结束编码。 符号元 概率 x1 0.5 x2 x′3 0.3 0.2 1 0 0.5 x′2 符号元 概率 x1 0.5 x′2 0.5 1 0 1 x′1 码字 码长 符号元 概率 x1 0.5 x2 x3 x4 0.3 0.15 0.05 0.2 0.5 1 1 1 1 0 0 0 0 10 110 111 1 2 3 3 整个编码过程集中在一起，即为 显然，所编哈夫曼码构成二元码树，为异前置码。 例2，分别对下列单符号离散信源和该信源的二次扩展信源 编二进制哈夫曼码，并计算其编码效率。 解：⑴对单符号离散信源编码 符号元 概率 x1 0.5 x2 x3 0.3 0.2 0.5 1 0 1 1 0 码字 码长 0 10 11 1 2 2 ⑵对二次扩展信源编码 将符号元ai按概率进行降序排列 哈夫曼编码过程为 0.1 0.2 1 1 1 1 0 0 0 符号元 概率 a1 0.25 a2 a3 a4 0.15 0.15 0.1 a5 0.1 a6 a7 0.09 0.06 a8 0.06 a9 0.04 0.15 1 0 0.25 0.3 1 0 1 0 0.45 1 0 0.55 1 0 0.1 0.2 1 1 1 1 0 0 0 符号元 概率 a1 0.25 a2 a3 a4 0.15 0.15 0.1 a5 0.1 a6 a7 0.09 0.06 a8 0.06 a9 0.04 0.15 1 0 0.25 0.3 1 0 1 0 0.45 1