第3章 离散信源无失真编码.ppt

1 0 ②为概率最小的符号分配一个二进制码元1，概率次小的符号分配一个二进制码元0 ③将概率最小的两个符号合并成一个新的符号，用两者概率之和作为新符号的概率 0.2 x3， xi P(xi) x1 0.5 x2 x3 x4 0.3 0.15 0.05 重复① ② ③步骤，直到合并出一个以1为概率的新符号，结束编码 xi P(xi) x1 0.5 x2 x3， 0.3 0.2 1 0 0.5 x2， xi P(xi) x1 0.5 x2， 0.5 1 0 1 x1， ci ki xi P(xi) x1 0.5 x2 x3 x4 0.3 0.15 0.05 0.2 0.5 1 1 1 1 0 0 0 0 10 110 111 1 2 3 3 整个编码过程集中在一起 例2 分别对信源和其二次扩展信源编赫夫曼码，并计算编码效率。 (1)对信源编码 xi P(xi) x1 0.5 x2 x3 0.4 0.1 0.5 1 0 1 1 0 ci ki 0 10 11 1 2 2 (2)对二次扩展信源编码 将符号序列ai按概率降序排列 ai P(ai) a1 0.25 a2 a3 a4 0.2 0.2 0.16 a5 0.05 a6 a7 0.05 0.04 a8 0.04 a9 0.01 0.05 0.09 1 0 0 0 1 1 0.1 1 0 0.19 0.4 1 0 0 1 0.35 1 0 0.6 1 0 1 2 2 3 6 2 5 5 5 6 01 10 001 000101 11 00001 00011 00000 000100 0.05 0.09 1 0 0 0 1 1 0.1 1 0 0.19 0.4 1 0 0 1 0.35 1 0 0.6 1 0 1 ci ki 用两种方法进行赫夫曼编码，并计算平均码长。 (1)将合并后的新符号排在其它相同概率符号之后 例3 xi P(xi) x1 0.4 x2 x3 x4 0.2 0.2 0.1 x5 0.1 1 01 0011 0010 000 1 2 3 4 4 0.2 1 0 0.4 1 0 1 0 0.6 1 0 1 ci ki (2)将合并后的新符号排在其它相同概率符号之前 0.2 1 0 0.4 1 0 1 0 0.6 1 0 1 00 10 011 010 11 2 2 2 3 3 xi P(xi) x1 0.4 x2 x3 x4 0.2 0.2 0.1 x5 0.1 ci ki 采用不同排列方法编出的赫夫曼码，其码字和码长可能完全不相同，但平均码长一定相等，编码效率不会因排列方法而改变。 赫夫曼码的特点 编码过程中先确定码字，后确定码长 用局部累加概率代替累加概率，多次重新排列合并累加的过程是优化过程 每次合并伴之分配码元保证大概率符号序列编为短码，小概率符号序列编为长码 不具有唯一性，但不同赫夫曼码的编码效率相同 平均码长不超过联合熵一个比特，N越大平均码长越接近联合熵 习题5-1，5-2，5-3（只编二进制），5-5（5）（4位修改为分别用2位和3位） ③令P(x0)=0，计算第i个码字的累加概率 Pa(x1)=0 Pa(x2)=0+0.5=0.5 Pa(x3)=0.5+0.3=0.8 Pa(x4)=0.8+0.15=0.95 xi P(xi) ki Pa(xi) ci x1 0.5 1 0 x2 0.3 2 0.5 x3 0.15 3 0.8 x4 0.05 5 0.95 ④将Pa(xi)用二进制表示，取小数点后ki位作为xi的码字ci Pa(x1)=0.0=(0.0)2→c1=0 Pa(x2)=0.5=(0.10)2→c2=10 Pa(x3)=0.8=(0.110…)2→c3=110 Pa(x4)=0.95=(0.11110…)2→c4=11110 xi P(xi) ki Pa(xi) ci x1 0.5 1 0 0 x2 0.3 2 0.5 10 x3 0.15 3 0.8 110 x4 0.05 5 0.95 11110 分别对该信源和其二次扩展信源编香农码，并计算编码效率。 (1)对信源编码 例2 Pa(x1)=0.0=(0.0)2→c1=0 Pa(x2)=0.5=(0.10)2→c2=10 Pa(x3)=0.8=(0.110…)2→c3=110 Pa(x1)=0 Pa(x2)=0+0.5=0.5 Pa(x3)=0.5+0.3=0.8 xi P(xi) ki Pa(xi) ci x1 0.5 1 0 0 x2 0.3 2 0.5 10 x3 0.2 3 0.8 110 (2)对二次扩展信源编码 将符号序列ai按概率降序排列 Pa(a1)=0 Pa(a2)=0+0.25=0.25 Pa(a3)=0.25+0.15=0