第5讲-2信息论跟编码.pptVIP

5.2.3 最佳变长编码 最佳码： 对于某一信源和某一码符号集来说,若有一唯一可译码,其平均码长小于所有其他唯一可译码的平均长度。 最佳变长编码 : 凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。 紧致码 香农（Shannon） 费诺（Fano） 哈夫曼（Huffman ） 香农编码 香农第一定理指出了平均码长与信源之间的关系,同时也指出了可以通过编码使平均码长达到极限值,这是一个很重要的极限定理。 香农第一定理指出,选择每个码字的长度Ki满足下式： 香农编码 二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, 　　　　p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki 1－log2 p(ai) ⑶令P(a1)=0,用Pi表示第i个码字的累加概率， 例有一单符号离散无记忆信源 对该信源编二进制香农码。其编码过程如表所示 费诺编码 费诺编码属于概率匹配编码 。 编码步骤如下： 将概率按从大到小的顺序排列,令 p(x1)≥ p(x2)≥…≥ p(xn) 按编码进制数将概率分组,使每组概率尽可能接近或相等。如编二进制码就分成两组,编m进制码就分成m组。 给每一组分配一位码元。 将每一分组再按同样原则划分,重复步骤2和3,