信息论与编码第5章(3).pptVIP

信源编码 第5章（第3讲） 信息通过信道传输到信宿的过程即为通信。要做到既不失真又快速地通信，需要解决两个问题： 在不失真或允许一定失真条件下，如何提高信息传输速度----这是本章要讨论的信源编码问题. 在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大----这是下章要讨论的信道编码问题. 信源编码： 无失真信源编码—第一极限定理 可逆编码的基础，只适用于离散信源，主要用于文字、数据信源的压缩。 限失真信源编码—第三极限定理 只适用于连续信源，主要用于图像、语音信源的压缩 信道编码 第二极限定理 一般来说，抗干扰能与信息传输率二者相互矛盾。然而编码定理已从理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。 信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余，提高编码效率。 信源编码的基本途径有两个: 一是编码后使序列中的各个符号之间尽可能地 互相独立，即解除相关性----方法包括预测编 码和变换编码. 二是使编码后各个符号出现的概率尽可能相等，即均匀化分布----方法主要是统计编码. 本章主要介绍信源编码的基本思路与主要方法，以无失真编码为主，期望通过本章学习能建立起信源压缩编码的基本概念。 5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介 5.2.3 最佳变长编码 最佳码： 对于某一信源和某一码符号集来说,若有一唯一可译码,其平均码长小于所有其他唯一可译码的平均长度。 方法：将概率大的信源符号编以短的码字。概率小的符号编以长的码字，这样使得平均码字长度最短。 主要有： 香农（Shannon） 费诺（Fano） 哈夫曼（Huffma ） 香农编码 香农第一定理指出了平均码长与信源之间的关系,同时也指出了可以通过编码使平均码长达到极限值,这是一个很重要的极限定理。 香农第一定理指出,选择每个码字的长度Ki满足下式： 香农编码 二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, 　　　　p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki 1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率， 结论 香农编码方法特点： 由于ki总是进一取整，香农编码方法不一定是最佳的； 由于第一个消息符号的累加概率总是为0，故它对应的码字总是0、00、000、0…0的式样； 码字集合是唯一的，且为即时码； 先有码长再有码字； 对于一些信源，编码效率不高，冗余度稍大，因此其实用性受到较大限制。 费诺编码 费诺编码属于概率匹配编码 。 编码步骤如下： 将概率按从大到小的顺序排列,令 p(x1)≥ p(x2)≥…≥ p(xn) 按编码进制数将概率分组,使每组概率尽可能接近或相等。如编二进制码就分成两组,编m进制码就分成m组。 给每一组分配一位码元。 将每一分组再按同样原则划分,重复步骤2和3,直至概率不再可分为止。 结论 费诺编码特点： 概率大，则分解的次数小；概率小, 则分解的次数多。这符合最佳编码原则。 码字集合是唯一的。 分解完了，码字出来了，码长也有了。 因此，费诺编码方法又称为子集分解法。 费诺编码方法比较适合于每次分组概率都很接近的信源，特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率。 哈夫曼编码 哈夫曼编码也是用码树来分配各符号的码字。 费诺码是从树根开始,把各节点分给某子集,若子集已是单点集,它就是一片树叶而作为码字。 哈夫曼编码是先给每一符号一片树叶,逐步合并成节点直到树根。 哈夫曼(Huffman)编码是一种效率比较高的变长无失真信源编码方法。 哈夫曼编码的步骤如下： ⑴ 将信源消息符号按其出现的概率大小依次排列 p(x1)≥p(x2)≥…≥ p(xn) ⑵取两个概率最小的字母分别配以0和1两码元,并将这两个概率相加作为一个新字母的概率,与未分配的二进符号的字母重新排队。 ⑶ 对重排后的两个概率最小符号重复步骤⑵的过程。 ⑷不断继续上述过程,直到最后两个符号配以0和1为止。 ⑸ 从最后一级开始,向前返回得到各个信源符号所对应的码元序列,即相应的码字。 哈夫曼编码 哈夫曼的编法并不惟一。 每次对缩减信源两个概率最小的符号分配“0”和“1”码元是任意的,所以可得到不同的码字。只要在各次缩减信源中保持码元分配的一致性,即能得到可分离码字。 不同的码元分配,得到的具体码字不同,但码长Ki不变,平均码长也