信息论基础——信源编码.pptVIP

* . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . . 信息论基础——信源编码 56、死去何所道，托体同山阿。 57、春秋多佳日，登高赋新诗。 58、种豆南山下，草盛豆苗稀。晨兴理荒秽，带月荷锄归。道狭草木长，夕露沾我衣。衣沾不足惜，但使愿无违。 59、相见无杂言，但道桑麻长。 60、迢迢新秋夕，亭亭月将圆。 信息论基础——信源编码信息论基础——信源编码56、死去何所道，托体同山阿。 57、春秋多佳日，登高赋新诗。 58、种豆南山下，草盛豆苗稀。晨兴理荒秽，带月荷锄归。道狭草木长，夕露沾我衣。衣沾不足惜，但使愿无违。 59、相见无杂言，但道桑麻长。 60、迢迢新秋夕，亭亭月将圆。数据压缩和信源编码 3.1等长码 32变长编码 33哈夫曼码 34算术码 香农-费诺码 3.5通用信源编码LZw算法 习题三 算术码 -Shannon-Fano-Elias码fd 0.概述 是第一个能够找到的好的变长码 原则:按照符号出现的概率从大到小排序,然后将 其分成两个出现概率相同或几乎相同的子集一一个 子集的编码均以0打头,另一个子集的编码均以1打 头;然后把每个子集再分成两个更小的子集,同样 确定所有码字的第二位,依次循环. 数据压缩和信源编码 3.1等长码 32变长编码 33哈夫曼码 34算术码 香农-费诺码 3.5通用信源编码LZw算法 习题三 * . 算术码 -Shannon-Fano-Elias码fd 0.概述 是第一个能够找到的好的变长码 原则:按照符号出现的概率从大到小排序,然后将 其分成两个出现概率相同或几乎相同的子集一一个 子集的编码均以0打头,另一个子集的编码均以1打 头;然后把每个子集再分成两个更小的子集,同样 确定所有码字的第二位,依次循环. * . 算术码 -Shannon-Fano-Elias码fd Prob Steps Final 例 1.0.2511 :11 2.0.2010 3.0.150 :011 4.0.150 :010 5.0.100 1 :001 6.0.100 01:0001 7.0.050 00:0000 * . 算术码 -Shannon-Fano-Elias码fd 0.概述 其平均码长:0.25×2+0.20×2+0.15×3+0.15×3+0.10×3+ 0.10×4+0.05×4=2.7bits/ symbol 其熵:-(0.251og0.25+0.20log0.20+0.15og0,15+0.15og 0.15+0.10og0.10+0.10log0.10+0.05og0.052.67 算这是一个较好的结果! * . 算术码 -Shannon-Fano-Elias码fd Prob Steps Final 1.0.2511 22.0.2510 :10 3.0.1250 :011 4.0.125010 010 5.0.125001 :001 6.0.125000 000 * . 算术码 -Shannon-Fano-Elias码fd 例 3 * . 算术码 -Shannon-Fano-Elias码fd 1基本思路 用二进制小数表示信源的概率分布,如果 概率分布取值大,则它的二进制位数就低; 另外,为了使算术码具有前缀性(无尾随后 缀),对概率分布采用累计求和计算 * . 算术码 -Shannon-Fano-Elias码fd 2编码方法 1)将信源符号X={ana2……,a}依次排列(不要求以概率 大小排序); 2)计算各符号的修正累积分函数值 1=20+O1代表不小 于x的整数 3)确定各信源符号所对应码字的码长 l(a)=log -1 4)将F(a)表示为二进制小数,并用小数点后的(a)位作 为a的 若二进制小数后面有尾数,则截断 * . 算术码 -Shannon-Fano-Elias码fd 其例1:若信源的概率分布为,,取信 号字母表为U={0l,求信源的算术码 信源符号x 概率p(x) 字长l(x) 0.25(二) 37()=log 0.75(-) * . 算术码 -Shannon-Fano-Elias码fd 其例1:若信源的概率分布为,,取信 号字母表为U={0l,求信源的算术码 小1①三 * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . * . .