信源编码-2.ppt

信源编码 第5章 5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介 编码的目的 香农编码定理虽然指出了理想编码器的存在性,但是并没有给出实用码的结构及构造方法； 编码理论正是为了解决这一问题而发展起来的科学理论； 编码的目的是为了优化通信系统,就是使这些指标达到最佳； 通信系统的性能指标主要是有效性、可靠性、安全性和经济性,除了经济性外,这些指标正是信息论研究的对象。 按不同的编码目的,编码分为三类： 信源编码 信道编码 安全编码/密码。 信源编码： 以提高通信有效性为目的的编码。 通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送,使单位时间内传送的平均信息量增加,从而提高通信的有效性。 信道编码： 是以提高信息传输的可靠性为目的的编码。 通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽，即增大所需的信道容量。与信源编码正好相反。 密码： 是以提高通信系统的安全性为目的的编码。 通常通过加密和解密来实现。从信息论的观点出发 “加密”可视为增熵的过程,“解密”可视为减熵的过程。 信源编码理论是信息论的一个重要分支,其理论基础是信源编码的两个定理。 无失真信源编码定理： 是离散信源/数字信号编码的基础； 限失真信源编码定理： 是连续信源/模拟信号编码的基础。 信源编码的分类： 离散信源编码： 独立信源编码,可做到无失真编码； 连续信源编码： 独立信源编码,只能做到限失真信源编码； 相关信源编码： 非独立信源编码。 无失真信源编码 码字平均长度 C1 和C2平均长度 信息率与编码效率 信息率平均 5.2.3 最佳变长编码 最佳变长编码 凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。 (一个码字是由原始信息位与校验位组成，可分离码是原始位与校验位可分离的码) 为此，必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。 5.2.3 最佳变长编码 最佳码： 对于某一信源和某一码符号集来说,若有一唯一可译码,其平均码长小于所有其他唯一可译码的平均长度。 能获得最佳码的编码方法主要有(紧致码) ： 香农（Shannon） 费诺（Fano） 哈夫曼（Huffma ） 香农编码 香农第一定理指出了平均码长与信源之间的关系,同时也指出了可以通过编码使平均码长达到极限值,这是一个很重要的极限定理。 香农第一定理指出,选择每个码字的长度Ki满足下式： 香农编码 二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, 　　　　p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki 1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率， 例有一单符号离散无记忆信源 对该信源编二进制香农码。其编码过程如表所示 例5-5 设信源有3个符号，概率分布为(05,0.4,0.1)，根据香农编码方法求出各个符号的码长对应为(1,2,4)，码字为(0,10,1110)。 事实上，观察信源的概率分布可以构造出一个码长更短的码(0,10,11)，显然也是唯一可译码。 所以香农编码法多余度稍大，实用性不强，但它是依据编码定理而来，因此具有重要的理论意义。 费诺编码 费诺编码属于概率匹配编码 。 编码步骤如下： 1 将概率按从大到小的顺序排列,令 p(x1)≥ p(x2)≥…≥ p(xn) 2 按编码进制数将概率分组,使每组概率尽可能接近或相等。如编二进制码就分成两组,编m进制码就分成m组。 3 给每一组分配一位码元。 4 将每一分组再按同样原则划分,重复步骤2和3,直至概率不再可分为止。 5 信源符号所对应的码字即为费诺码。 费诺码比较适合于每次分组概率都很接近的信源 特别是对每次分组概率都相等的信源进行编码时,可达到理想的编码效率。 例有一单符号离散无记忆信源 对该信源编二进制费诺码,编码过程如表: 信源熵为 H(X)=2.75(比特/符号) 平均码长为 哈夫曼编码 哈夫曼编码也是用码树来分配各符号的码字。 费诺码是从树根开始,把各节点分给某子集,若子集已是单点集,它就是一片树叶而作为码字。 哈夫曼编码是先给每一符号一片树叶,逐步合并成节点直到树根。 哈夫曼(Huffman)编码是一种效率比较高的变长无失真信源编码方法。 哈夫曼编码的步骤如下： ⑴ 将信源消息符号按其出现的概率大小依次排列 p(x1)≥p(x2)≥…≥ p(xn) ⑵取两个概率最小