第5讲 信源编码.ppt

* ①将符号序列ai i=1,2,…,nN按概率降序排列 ②为概率最小的两个符号序列各自分配一个二进制码元 ③将概率最小的两个符号序列合并成一个新的符号序列，用两者概率之和作为新符号序列的概率 3、赫夫曼码 编码步骤 重复① ② ③步骤，直到合并出一个以1为概率的新符号序列 * 编赫夫曼码并计算编码效率 ①将符号xi i=1,2,3,4按概率降序排列 例1 分配给符号序列ai的全部码元作为该符号序列的码字ci i=1,2,…,nN ②为概率最小的两个符号序列各自分配一个二进制码元 * 1 0 ③将概率最小的两个符号合并成一个新的符号，用两者概率之和作为新符号的概率 0.2 x3， xi P(xi) x1 0.5 x2 x3 x4 0.3 0.15 0.05 * 重复① ② ③步骤，直到合并出一个以1为概率的新符号 xi P(xi) x1 0.5 x2 x3， 0.3 0.2 1 0 0.5 x2， xi P(xi) x1 0.5 x2， 0.5 1 0 1 x1， * ci ki xi P(xi) x1 0.5 x2 x3 x4 0.3 0.15 0.05 0.2 0.5 1 1 1 1 0 0 0 0 10 110 111 1 2 3 3 整个编码过程集中在一起 * * 例2 分别对信源和二次扩展信源编赫夫曼码并计算编码效率 (1)信源编码并计算编码效率 * xi P(xi) x1 0.5 x2 x3 0.4 0.1 0.5 1 0 1 1 0 ci ki 0 10 11 1 2 2 * (2)二次扩展信源编码并计算编码效率 * ai P(ai) x1x1 0.25 x1x2 x2x1 x2x2 0.2 0.2 0.16 x1x3 0.05 x3x1 x2x3 0.05 0.04 x3x2 0.04 x3x3 0.01 0.05 0.09 1 0 0 0 1 1 0.1 1 0 0.19 0.4 1 0 0 1 0.35 1 0 0.6 1 0 1 * 2 2 3 6 2 5 5 5 6 01 10 001 000101 11 00001 00011 00000 000100 0.05 0.09 1 0 0 0 1 1 0.1 1 0 0.19 0.4 1 0 0 1 0.35 1 0 0.6 1 0 1 ci ki * * 两种方法进行赫夫曼编码并计算平均码长 (1)方法1——合并后的新符号排在其它相同概率符号之后 例3 * xi P(xi) x1 0.4 x2 x3 x4 0.2 0.2 0.1 x5 0.1 1 01 0011 0010 000 1 2 3 4 4 0.2 1 0 0.4 1 0 1 0 0.6 1 0 1 ci ki * (2)方法2——合并后的新符号排在其它相同概率符号之前 0.2 1 0 0.4 1 0 1 0 0.6 1 0 1 00 10 011 010 11 2 2 2 3 3 xi P(xi) x1 0.4 x2 x3 x4 0.2 0.2 0.1 x5 0.1 ci ki * 采用不同排列方法编出的赫夫曼码，码字和码长可能完全不相同，但平均码长一定相等——编码效率不会因排列方法而改变 * 赫夫曼码的特点 编码过程中先确定码字，后确定码长 用局部累加概率代替累加概率，多次重新排列合并累加的过程是优化过程 每次合并伴之分配码元保证大概率符号序列编为短码，小概率符号序列编为长码 不具有唯一性，但不同赫夫曼码的编码效率相同 码率不超过熵率1/N个比特，N越大码率越接近熵率 * 习题，(P166-167)5.3(二进制)、5.6 * (2)二次扩展信源编码并计算编码效率 * * Pa(x1x1)=0+0=0 Pa(x1x2)=0+0.25=0.25 Pa(x2x1)=0.25+0.15=0.4 Pa(x1x3)=0.4+0.15=0.55 Pa(x3x1)=0.55+0.1=0.65 Pa(x2x2)=0.65+0.1=0.75 Pa(x2x3)=0.75+0.09=0.84 Pa(x3x2)=0.84+0.06=0.9 Pa(x3x3)=0.9+0.06=0.96 * Pa(x1x1)=0.0=(0.00)2→c1=00 Pa(x1x2)=0.25=(0.010)2→c2=010 Pa(x2x1)=0.4=(0.011…)2→c3=011 Pa(x1x3)=0.55=(0.1000…)2→c4=1000 Pa(x3x1)=0.65=(0.1010…)2→c5=1010 Pa(x2x2)=0.75=(0.1100)2→c6=1100 Pa(x2x3)=0.84=(0.11010…)2→c7=11010 Pa(x3x2)=0.9=(0.11100…)2→c8=11100 Pa(x3x3)=0