信息论基础——信源编码.pptVIP

数据压缩和信源编码 3.1 等长码 3.2 变长编码 3.3 哈夫曼码 3.4 算术码 香农-费诺码 3.5 通用信源编码 LZW算法 习题三 0.概述 是第一个能够找到的好的变长码. 原则：按照符号出现的概率从大到小排序，然后将 其分成两个出现概率相同或几乎相同的子集—一个 子集的编码均以0打头，另一个子集的编码均以1打 头；然后把每个子集再分成两个更小的子集，同样 确定所有码字的第二位，依次循环. 0.概述 平均码长：0.25×2+0.20×2+0.15×3+0.15×3+0.10×3+ 0.10×4+0.05×4=2.7 bits/symbol. 熵：-（0.25log0.25+0.20log0.20+0.15log0.15+0.15log 0.15+0.10log0.10+0.10log0.10+0.05log0.05≈2.67. 这是一个较好的结果！ 1.基本思路 用二进制小数表示信源的概率分布，如果 概率分布取值大，则它的二进制位数就低； 另外，为了使算术码具有前缀性（无尾随后 缀），对概率分布采用累计求和计算. 2.编码方法 1）将信源符号X={a1,a2,……,aq}依次排列（不要求以概率 大小排序）； 2