信息论与编码课件第5章-2讲述.pptVIP

信源编码 第5章 5.2.3 最佳变长编码 1、最佳码定义： 对于某一信源和某一码符号集来说,若有可分离的变长码，且其平均码长最短。 2、最佳码分类 香农（Shannon） 费诺（Fano） 哈夫曼（Huffma ） 香农编码 香农第一定理指出,选择每个码字的长度Ki满足下式： 香农编码 二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, 　　　　p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki 1－log2 p(ai) ⑶令P1=0,用Pi表示第i个码字的累加概率， 例1 有一单符号离散无记忆信源 对该信源编二进制香农码。其编码过程如表所示 费诺编码 费诺编码属于概率匹配编码 。 编码步骤如下： （1）将概率按从大到小的顺序排列,令 p(x1)≥ p(x2)≥…≥ p(xn) （2）按编码进制数将概率分组,使每组概率尽可能接近或相等。如编二进制码就分成两组,编m进制码就分成m组。 （3）给每一组分配一位码元。 （4）将每一分组再按同样原则划分,重复步骤2和3,直至概率不再可分为止。 费诺码比较适合于每次分组概率都很接近的信源 特别是对每次分组概率都相等的信源进行编码时,可达到理想的编码效率。 例有一单符号离散无记忆信源 对该信源编二进制费诺码,编码