信息论与编码第5章-2说课.pptVIP

信源编码 第5章 5.2.3 最佳变长编码 1、最佳码定义： 对于某一信源和某一码符号集来说,若有可分离的变长码，且其平均码长最短。 2、最佳码分类 香农（Shannon） 费诺（Fano） 哈夫曼（Huffma ） 香农编码 香农第一定理指出,选择每个码字的长度Ki满足下式： 香农编码 二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, 　　　　p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki 1－log2 p(ai) ⑶令P1=0,用Pi表示第i个码字的累加概率， 例1 有一单符号离散无记忆信源 对该信源编二进制香农码。其编码过程如表所示 费诺编码 费诺编码属于概率匹配编码 。 编码步骤如下： （1）将概率按从大到小的顺序排列,令 p(x1)≥ p(x2)≥…≥ p(xn) （2）按编码进制数将概率分组,使每组概率尽可能接近或相等。如编二进制码就分成两组,编m进制码就分成m组。 （3）给每一组分配一位码元。 （4）将每一分组再按同样原则划分,重复步骤2和3,直至概率不再可分为止。 费诺码比较适合于每次分组概率都很接近的信源 特别是对每次分组概率都相等的信源进行编码时,可达到理想的编码效率。 例有一单符号离散无记忆信源 对该信源编二进制费诺码,编码过程如表: 信源熵为 H(X)=2.75(比特/符号) 平均码长为 哈夫曼编码 哈夫曼编码也是用码树来分配各符号的码字。 费诺码是从树根开始,把各节点分给某子集,若子集已是单点集,它就是一片树叶而作为码字。 哈夫曼编码是先给每一符号一片树叶,逐步合并成节点直到树根。 哈夫曼(Huffman)编码是一种效率比较高的变长无失真信源编码方法。 哈夫曼编码的步骤如下： ⑴ 将信源消息符号按其出现的概率大小依次排列 p(x1)≥p(x2)≥…≥ p(xn) ⑵取两个概率最小的字母分别配以0和1两码元,并将这两个概率相加作为一个新字母的概率,与未分配的二进符号的字母重新排队。 ⑶ 对重排后的两个概率最小符号重复步骤⑵的过程。 ⑷不断继续上述过程,直到最后两个符号配以0和1为止。 ⑸ 从最后一级开始,向前返回得到各个信源符号所对应的码元序列,即相应的码字。 例5-7 设单符号离散无记忆信源如下,要求对信源编二进制哈夫曼码。编码过程如下表 平均码长为 哈夫曼编码 哈夫曼的编法并不惟一。 每次对缩减信源两个概率最小的符号分配“0”和“1”码元是任意的,所以可得到不同的码字。只要在各次缩减信源中保持码元分配的一致性,即能得到可分离码字。 不同的码元分配,得到的具体码字不同,但码长Ki不变,平均码长也不变,所以没有本质区别； 缩减信源时,若合并后的新符号概率与其他符号概率相等,从编码方法上来说,这几个符号的次序可任意排列,编出的码都是正确的,但得到的码字不相同。 不同的编法得到的码字长度Ki也不尽相同。 例5-8 单符号离散无记忆信源 单符号信源编二进制哈夫曼码,编码效率主要决定于信源熵和平均码长之比。 对相同的信源编码,其熵是一样的,采用不同的编法,得到的平均码长可能不同。 平均码长越短,编码效率就越高。 哈夫曼编码 讨论：哪种方法更好？ 定义码字长度的方差σ2： 哈夫曼编码 第一种方法编出的5个码字有4种不同的码长； 第二种方法编出的码长只有两种不同的码长； 第二种编码方法更简单、更容易实现,所以更好。 结论： 在哈夫曼编码过程中,对缩减信源符号按概率由大到小的顺序重新排列时,应使合并后的新符号尽可能排在靠前的位置,这样可使合并后的新符号重复编码次数减少,使短码得到充分利用。 m进制哈夫曼编码 在编m进制哈夫曼码时为了使平均码长最短,必须使最后一步缩减信源有m个信源符号。 对于m进制编码,若所有码字构成全树,可分离的码字数必为: m＋k(m－l) 非全树时,有s个码字不用： 第一次对最小概率符号分配码元时只取(m－s)个,分别配以0,1, …,m-s-1,把这些符号的概率相加作为一个新符号的概率,与其它符号一起重新排列 以后每次取m个符号,分别配以0,1,…,m-1；如此下去,直至所有概率相加得1为止,即得到各符号的m进制码字。 例:对如下单符号离散无记忆信源编三进制哈夫曼码 3进制哈夫曼编码 平均码长为 结论 香农码、费诺码、哈夫曼码都考虑了信源的统计特性,使经常出现的信源符号对应较短的码字,使信源的平均码长缩短,从而实现了对信源的压缩； 香农码有系统的、惟一的编码方法,但在很多情况下编码效率不是很高； 费诺码和哈夫曼码的编码方法都不惟一； 费诺码比