第8节 无失真的信源编码.pptVIP

费诺编码也是一种常见的信源编码方法。 编码步骤如下： 将概率按从大到小的顺序排列，令 p(x1)≥ p(x2)≥…≥ p(xn) 按编码进制数将概率分组，使每组概率尽可能接近或相等。如编二进制码就分成两组，编m进制码就分成m组。 给每一组分配一位码元。 将每一分组再按同样原则划分，重复步骤2和3，直至概率不再可分为止。 例 设有一单符号离散信源 对该信源编二进制费诺码。编码过程如下表。 该信源的熵为 平均码长为 编码效率为 本例中费诺编码有较高的编码效率。费诺码比较适合于每次分组概率都很接近的信源。特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率。 题中码字还可用码树来表示，如图所示。 霍夫曼(Huffman)编码是一种效率比较高的变长 无失真信源编码方法。 编码步骤 二进制哈夫曼编码 m进制哈夫曼编码 将信源符号按概率从大到小的顺序排列，令 p(x1)≥ p(x2)≥…≥ p(xn) 给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n－1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表示。 将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，得到只含(n－2)个符号的缩减信源S2。 重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。 例 设单符号离散无记忆信源如下，要求对信源编二进制 霍夫曼码。编码过程如下图（后页）。 将上图左右颠倒过来重画一下，即可得到二进制哈夫曼码的码树。 信源熵为： 平均码长为 编码效率为 若采用定长编码，码长K=3，则编码效率 可见哈夫曼的编码效率提高了12.7%。 注意：哈夫曼的编法并不惟一。 每次对缩减信源两个概率最小的符号分配“0”和“1”码元是任意的，所以可得到不同的码字。只要在各次缩减信源中保持码元分配的一致性，即能得到可分离码字。 不同的码元分配，得到的具体码字不同，但码长ki不变，平均码长 也不变，所以没有本质区别； 缩减信源时，若合并后的新符号概率与其他符号概率相等，从编码方法上来说，这几个符号的次序可任意排列，编出的码都是正确的，但得到的码字不相同。不同的编法得到的码字长度ki也不尽相同。 “全树”概念 定义：码树图中每个中间节点后续的枝数为m时称为全树；若有些节点的后续枝数不足m，就称为非全树。 二进制码不存在非全树的情况，因为后续枝数是一时，这个枝就可以去掉使码字长度缩短。 对m进制编码：若所有码字构成全树，可分离的码字数（信源个数）必为 m+k(m－1)。k为信源缩减次数。 若信源所含的符号数n不能构成m进制全树，必须增加s个不用的码字形成全树。显然sm－1，若s=m－1，意味着某个中间节点之后只有一个分枝，为了节约码长，这一分枝可以省略。 在编m进制哈夫曼码时为了使平均码长最短，必须使最后一步缩减信源有m个信源符号。非全树时，有s个码字不用： 第一次对最小概率符号分配码元时就只取(m－s)个，分别配以0,1,…,m－s－1，把这些符号的概率相加作为一个新符号的概率，与其它符号一起重新排列。 以后每次就可以取m个符号，分别配以0,1,…,m－1；…；如此下去，直至所有概率相加得1为止，即得到各符号的m进制码字。 例：对如下单符号离散无记忆信源(例5.4.1)编三进制哈夫曼码。 这里：m=3，n=8 令k=3，m+k(m－1)=9，则 s=9－n=9－8=1 所以第一次取m－s=2个符号进行编码。 平均码长为： 信息率为： 编码效率为： 可见：哈夫曼的编码效率相当高，对编码器的要求也简单得多。 香农码、费诺码、哈夫曼码都考虑了信源的统计特性，使经常出现的信源符号对应较短的码字，使信源的平均码长缩短，从而实现了对信源的压缩； 香农码有系统的、惟一的编码方法，但在很多情况下编码效率不是很高； 费诺码和哈夫曼码的编码方法都不惟一； 费诺码比较适合于对分组概率相等或接近的信源编码； 哈夫曼码对信源的统计特性没有特殊要求，编码效率比较高，对编码设备的要求也比较简单，因此综合性能优于香农码和费诺码。 第八节 游程编码、算术编码、冗余编码 ③ 二元独立序列的平均游程长度 “0”游程序列的平均游程长度 同理可得“1”游程长度的熵和平均游程长度 游程编码 第八节 游程编码、算术编码、冗余编码 游程编码 ④ 二元独立序列的熵 “0”游程序列的熵与“1”游程长度的熵之和除以它们的平均游程长度