第3章-无失真信源编码详解.pptVIP

第7节 Huffman 编码 平均码字长度 5、扩展信源符号编码 一种更有效的编码方法是同时对N个信源符号进行编码。 例：考虑一个信源，各符号及相应的概率如下所示，信道符号集为X＝{0，1} 符号 概率 自信量 码字 码字长度 s1 0.40 1.3219 1 1 s2 0.35 1.5146 00 2 s3 0.25 2.0000 01 2 第7节 Huffman 编码 第7节 Huffman 编码 信源的熵为： 平均码字长度为： 信息率 符号 概率 自信量 码字 码字长度 s1 s1 0.1600 2.6439 10 2 s1 s2 0.1400 2.8365 001 3 s2s1 0.1400 2.8365 010 3 s2s2 0.1225 3.0291 011 3 s1 s3 0.1000 3.3219 111 3 s3 s1 0.1000 3.3219 0000 4 s2 s3 0.0875 3. 5146 0001 4 s3 s2 0.0875 3.5146 1100 4 s3 s3 0.0625 4.0000 1101 4 第7节 Huffman 编码 如果同时对两个符号进行编码，其概率密度及Huffman编码如下图所示： 平均每个信源符号对应的信源码符号数 信息率 第7节 Huffman 编码 信源的熵为： 结论： 同时对N个符号进行编码，编码效率更高。 Huffman编码小结 1、二进制编码。 讨论：0，1互换时情况。 几个符号具有相同概率情况。 2、多进制情况。 3、扩展信源符号同时编码。 第7节 Huffman 编码 作业： P410 T11 P409 T5 (1) (2)N=2 第8节 香农编码 1、信源 按降序排列得到，因此该假设不失一般性。 假设 若不是可通过将符号 2、编码步骤 若对符号si编码，则按以下步骤进行： 第8节 香农编码 1) 计算符号si的自信量，并求整数li，满足： 2) 计算 3) 将Pi用二进制表示，取小数点后的li为作为符号si的编码 例： 符号 概率 累加概率Pi 累加概率的二进制表示 自信量 码长 码字 s1 0.20 0 0.000000… 2.34 3 000 s2 0.19 0.2 0.0011… 2.41 3 001 s3 0.18 0.39 0.011… 2.48 3 011 s4 0.17 0.57 0.1001… 2.56 3 100 s5 0.15 0.74 0.101… 2.74 3 101 s6 0.10 0.89 0.1110… 3.34 4 1110 s7 0.01 0.99 0.1111110… 6.66 7 1111110 第8节 香农编码 第8节 香农编码 例：写出s4对应的码字w4 1) 计算符号s4的自信量，并求整数l4。 2) 计算 3) 将Pi用二进制表示，取小数点后的li为作为符号si的编码 第8节 香农编码 说明： 1) 香农编码是非延长码 3) 香农编码效率不一定最高，实用性受限 为什么不是最高，什么时候效率最高，最高效率是多少？ 4) 如何证明香农编码一定单义可译？（加分） 2) 概率最大的符号的编码一定为全0码字 第8节 香农编码 0 0.20 0.39 0.57 0.74 0.89 0.99 说明 1）概率最大的信源符号码字对应于原点 2）其它符号对应码字分布在区间1，2，3，4，5，6。 3）各区间不重叠，故编码也不会重复 第8节 香农编码 信源符号的累计概率将区间[0,1]分成很多互不重叠的小区间，每个信源符号对应一个小区间，每个小区间的长度等于这个信源符号的概率，在此小区间取一点，该点的取值可作为这个信源符号的码字。 4）香农编码是一种算术编码，其主要思想是： 第9节 费诺编码 1、信源 2、编码步骤 1) 将所有符号自上向下按概率的降序排列 2) 将符号分为上下两组，使得两组符号的概率和尽量接近。并将上下两组分别用“0”和“1”标注 3) 再将两组符号继续按照上述规则划分成更小的组并标注，直到每个小组只有一个符号。 4) 标注即编码 第9节 费诺编码 符号 概率 第一次 分组 第二次 分组 第二次分组 第四次 分组 码字 s1 0.20 0 0 00 s2 0.19 1 0 010 s3 0.18 1 011 s4 0.17 1 0 10 s5 0.15 1 0 110 s6 0.10 1 0 1110 s7 0.01 1 1111 例： 第9节 费诺编码 说明： 1）费诺编码也是非延长码 2）费诺编码不是最优编码 作业 P409 T11 先香农编码，再费诺编码，并计算两者的码率 第11节