第5章节 信源编码.ppt

* L要大到何种程度呢 * * 例 对以下信源进行费诺编码。 消息符号ai 各个消息概率 p(ai) 第一次分组 第二次分组 第三次分组 第四次分组 二元码字 码长Ki a1 0.20 0 0 00 2 a2 0.19 1 0 010 3 a3 0.18 1 011 3 a4 0.17 1 0 10 2 a5 0.15 1 0 110 3 a6 0.10 1 0 1110 4 a7 0.01 1 1111 4 * * 码元/符号 bit/符号 * * 费诺编码的基本特点 １. 费诺编码在构造码树时，是从树根开始到终端节点结束； ２. 由于赋码元时的任意性，因此编出的码字不是唯一的； ３. 费诺编码虽属于概率匹配范畴，但并未严格遵守匹配规则，有时出现概率小的码长反而小。因此平均码长一般不会最小。 * * ３　哈夫曼编码方法 (1) 将信源消息符号按其出现的概率大小依次排列， (2) 取两个概率最小的字母分别配以0和1两个码元，并将这两个概率相加作为一个新字母的概率，与未分配的二进符号的字母重新排队。 * * (3) 对重排后的两个概率最小符号重复步骤(2)的过程。 (4) 不断继续上述过程，直到最后两个符号配以0和1为止。 (5) 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。 * * 例 对以下信源进行哈夫曼编码 信源符号ai 概率p(ai) 码字Wi 码长Ki a1 0.20 10 2 a2 0.19 11 2 a3 0.18 000 3 a4 0.17 001 3 a5 0.15 010 3 a6 0.10 0110 4 a7 0.01 0111 4 * * 0.20 0.20 0.26 0.35 0.39 0.61 1.0 0.19 0.19 0.20 0.26 0.35 0.39 0.18 0.18 0.19 0.20 0.26 0.17 0.17 0.18 0.19 0.15 0.15 0.17 0.10 0.11 0.01 0 1 0 1 0 1 0 1 0 1 0 1 * * 码元/符号 bit/符号 * * 哈夫曼编码的基本特点: 哈夫曼编码实际上构造了一个码树，码树从最上层的端点开始构造，直到树根结束，最后得到一个横放的码树，因此编出的码是非续长码； 哈夫曼编码采用概率匹配方法来决定各码字长度，概率大的符号对应于短码，概率小的符号对应与长码，从而使平均码长最小； * * 3 每次对概率最小的两个符号求概率之和形成缩减信源时，就构造出两个树枝，由于给两个树枝赋码元时是任意的，因此编出的码字并不唯一。 * * 哈夫曼变长码的效率是相当高的，它可以单个信源编码或用L较小的信源序列编码，对编码器的设计来说也简单得多。但是：要达到很高的效率仍然需要按长序列来计算，这样才能使码字平均长度降低。 * * 哈夫曼编码方法得到的码并非唯一的 每次对信源缩减时，赋予信源最后两个概率最小的符号，用0和1是可以任意的，所以可以得到不同的哈夫曼码，但不会影响码字的长度。 * * 对信源进行缩减时，两个概率最小的符号合并后的概率与其它信源符号的概率相同时，这两者在缩减信源中进行概率排序，其位置放置次序是可以任意的，故会得到不同的哈夫曼码。此时将影响码字的长度，一般将合并的概率放在上面，这样可获得较小的码方差。 * * 例 设有离散无记忆信源 * * 信源符号ai 概率p(ai) 码字Wi1 码长Ki1 码字Wi2 码长K’i2 a1 0.4 1 1 00 2 a2 0.2 01 2 10 2 a3 0.2 000 3 11 2 a4 0.1 0010 4 010 3 a5 0.1 0011 4 011 3 * * 0.4 0.4 0.4 0.6 1.0 0.2 0.2 0.4 0.4 0.2 0.2 0.2 0.1 0.2 0.1 0.4 0.4 0.4 0.6 1.0 0.2 0.2 0.4 0.4 0.2