(信息论基础)第四章无失真信源编码.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 香农编码 信源符号S 概率函数p(S) 累计概率Pj mj 累计概率二进制数 码长 码字W S1 0.25 0 2 0.00 2 00 S2 0.25 0.25 2 0.010 2 01 S3 0.2 0.5 3 0.1000 3 100 S4 0.15 0.7 3 0.1010 3 101 S5 0.1 0.85 4 0.1101 4 1101 S6 0.05 0.95 5 0.111101 5 11101 香农编码 信源编码模型 码的分类 等长编码 变长编码 Huffman编码 Shannon编码 Fano编码 香农第一定理 等长编码定理 作业 4.2 4.7 4.9 4.10 4.11 * * * * * * * * * * * * * * * * * * * * * * * * * * 画码树来表示 * * 霍夫曼编码－例1 霍夫曼编码－例1 消息 概率 编码 码长 S1 0.4 00 2 S2 0.2 10 2 S3 0.2 11 2 S4 0.1 010 3 S5 0.1 011 3 例：离散无记忆信源: 对应的霍夫曼编码如图所示： 霍夫曼编码-课堂作业 消息 概率 编码 码长 U1 0.5 0 1 U2 0.25 10 2 U3 0.125 110 3 U4 0.125 111 3 霍夫曼编码-课堂作业 霍夫曼编码 对于同一个信源，霍夫曼编码的方式有很多种： 左分支编0、右分支编1； 左分支编1、右分支编0； 左右分支混编 编出来的平均码长都一样 霍夫曼编码 合并后的新信源符号与其它信源符号概率相 同时，合并后的符号插入到什么位置，编出来 的码也是不一样的： 例1中是将新信源符号插入到最前面 例2将新信源符号插入到最后面 霍夫曼编码－例2 编成2元霍夫曼码，求编码效率 霍夫曼编码－例2 霍夫曼编码－例2 霍夫曼编码－例2 霍夫曼编码－例2 消息 概率 编码 码长 S1 0.4 1 1 S2 0.2 01 2 S3 0.2 000 3 S4 0.1 0010 4 S5 0.1 0011 4 霍夫曼编码 两种编码方式的编码效率相等。第一种方法只 有两种码长：2、3；第二种方法有4种码长1－ 4 第一种方法方差比较小，更接近于等长码，更 简单，更容易实现 霍夫曼编码 扩展到r元霍夫曼编码，只要每次取r个最小 概率的信源符号即可 编成3元霍夫曼码，求编码效率 霍夫曼编码－例3 霍夫曼编码－例3 霍夫曼编码－例3 消息 概率 编码 码长 S1 0.4 1 1 S2 0.2 2 1 S3 0.2 00 2 S4 0.1 01 2 S5 0.1 02 2 霍夫曼编码－解码 霍夫曼编码的所有码字都在码树的终端节点上，所以霍夫曼码是即时码。 因此霍夫曼码的解码可以使用即时码的解码方法。从码树的根节点开始，按码符号对应的分支逐步向下，直到找到一个终端节点。再从根节点开始对剩下的码符号序列做相同的处理，直到处理完所有的码符号。 霍夫曼编码－解码 解码100101100011 霍夫曼编码－解码 优点就是编码效率很好，是最佳编码 缺点是容错性能非常差，只要有1位出现了错误，将可能导致后面的解码全部错误或翻译不出来 费诺编码 霍夫曼编码在构造码树的时候，是从下层节点开始，逐级向上直到根节点的；而费诺编码正好相反，是由根节点出发，直到终端节点。 费诺编码的思想就是使编码后的码集尽可能的等概率分布。 费诺码不是最佳编码方法，但是有时候也能编出最佳码。 费诺编码 将信源符号按概率大小递减排列，按照概率之和分为大致相等的r组（2组），分别编以0、1…r-1（0、1），再分别对r个（2个）组做相同的处理，直到每个组只有一个信源符号为止。 例：求2元费诺码及编码效率 费诺编码 费诺编码 消息 概率 编码 码长 S1 0.32 00 2 S2 0.22 01 2 S3 0.18 10 2 S4 0.16 110 3 S5 0.08 1110 4 S6 0.04 1111 4 课堂练习 离散无记忆信源 对源信源进行二维扩展后，采用费诺编码 法，求编码效率； 课堂练习 课堂练习 消息 概率 编码 码长 a1 1/16 111 3 a2 3/16 110 3 a3 3/16 10 2 a4 9/16 0 1 香农编码 香农编码法多余度较大，实用性不大，但在 理论上的意义很大。编码方法如下： 将信源消息出现的概率的大小依次排列 2.从最初0个，1个，2个…依次相加，并分别设为