信息论导论--第3章 离散信源无失真编码.ppt

③令P(x0)=0 ，计算第i 个码字的累加概率Pa(x1)=0 Pa(x2)=0+0.5=0.5 Pa(x3)=0.5+0.3=0.8 Pa(x4)=0.8+0.15=0.95 xi P(xi) ki Pa(xi) ci x1 0.5 1 0 x2 0.3 2 0.5 x3 0.15 3 0.8 x4 0.05 5 0.95 ④将Pa(xi) 用二进制表示，取小数点后ki 位作为xi 的码字ci Pa(x1)=0.0=(0.0)2→c1=0 Pa(x2)=0.5=(0.10)2→c2=10 Pa(x3)=0.8=(0.110…)2→c3=110 Pa(x4)=0.95=(0.11110…)2→c4=11110 xi P(xi) ki Pa(xi) ci x1 0.5 1 0 0 x2 0.3 2 0.5 10 x3 0.15 3 0.8 110 x4 0.05 5 0.95 11110 分别对该信源和其二次扩展信源编香农码，并计算编码效率。(1) 对信源编码例2 Pa(x1)=0.0=(0.0)2→c1=0 Pa(x2)=0.5=(0.10)2→c2=10 Pa(x3)=0.8=(0.110…)2→c3=110 Pa(x1)=0 Pa(x2)=0+0.5=0.5 Pa(x3)=0.5+0.3=0.8 xi P(xi) ki Pa(xi) ci x1 0.5 1 0 0 x2 0.3 2 0.5 10 x3 0.2 3 0.8 110 (2) 对二次扩展信源编码将符号序列ai 按概率降序排列Pa(a1)=0 Pa(a2)=0+0.25=0.25 Pa(a3)=0.25+0.15=0.4 Pa(a4)=0.4+0.15=0.55 Pa(a5)=0.55+0.1=0.65 Pa(a6)=0.65+0.1=0.75 Pa(a7)=0.75+0.09=0.84 Pa(a8)=0.84+0.06=0.9 Pa(a9)=0.9+0.06=0.96 Pa(a1)=0.0=(0.00)2→c1=00 Pa(a2)=0.25=(0.010)2→c2=010 Pa(a3)=0.4=(0.011…)2→c3=011 Pa(a4)=0.55=(0.1000…)2→c4=1000 Pa(a5)=0.65=(0.1010…)2→c5=1010 Pa(a6)=0.75=(0.1100)2→c6=1100 Pa(a7)=0.84=(0.11010…)2→c7=11010 Pa(a8)=0.9=(0.11100…)2→c8=11100 Pa(a9)=0.96=(0.11101…)2→c9=11101 ai P(ai) ki Pa(ai) ci a1 0.25 2 0 00 a2 0.15 3 0.25 010 a3 0.15 3 0.4 011 a4 0.1 4 0.55 1000 a5 0.1 4 0.65 1010 a6 0.09 4 0.75 1100 a7 0.06 5 0.84 11010 a8 0.06 5 0.9 11100 a9 0.04 5 0.96 11101 香农码的特点编码过程中先确定码长，后确定码字，保证大概率符号序列编为短码，小概率符号序列编为长码第一个符号序列的累加概率为0 ，其对应的码字总是0 、00 、…形式具有唯一性平均码长不超过联合熵一个比特，N 越大平均码长越接近联合熵费诺码基于概率匹配的思想，也是采用异前置码实现的无失真不等长编码。①将符号序列ai 按概率降序排列②进行分组，使每组概率尽可能相等③给每个分组分配一个二进制码元0 和1 对每个分组重复②③步骤，直到不可分为止费诺码的编码步骤：2 、费诺码编费诺码，并计算编码效率。xi P(xi) 分组1 分组2 分组3 ci x1 0.5 x2 0.3 x3 0.15 x4 0.05 例1 xi P(xi) 分组1 分组2 分组3 ci x1 0.5 0 x2 0.3 1 x3 0.15 x4 0.05 第一次分组：第二次分组：xi P(xi) 分组1 分组2 分组3 ci x1 0.5 0 x2 0.3 1 0 x3 0.15 1 x4 0.05 第三次分组：xi P(xi) 分组1 分组2 分组3 ci x1 0.5 0 0 x2 0.3 1 0 10 x3 0.15 1 0 110 x4 0.05 1 111 例2 分别对信源和其二次扩展信源编费诺码，并计算编码效率。(1) 对单符号离散信源编码第一次分组：第二次分组：xi P(xi) 分组1 分组2 ci x1 0.5 0 0 x2 0.4 1 0 10 x3 0.1 1 11 (2) 对二次扩展信源编码将符号序列ai 按概率降序排列第二次分组：第一次分组：第三次分组：第四次分组：第五次分组：2010 年3 月信息