第3节 无失真信源编码.pptVIP

第3章 无失真信源编码 例1 编费诺码并计算编码效率 ②不改变排列次序条件下第一次分组，使每组概率尽可能相等 ①将消息xk k=1,2,…,Nn按概率降序排列 1 0 分组1 分组2 分组3 ck 0.05 x4 0.15 x3 0.3 x2 0.5 x1 P(xk) xk ③给每组分配一个二进制码元 对每个分组重复② ③步骤 第二次分组及分配二进制码元 分组3 0.05 x4 1 0.15 x3 0 1 0.3 x2 0 0.5 x1 ck 分组2 分组1 P(xk) xk 第三次分组及分配二进制码元 1 0 分组3 0.05 x4 1 0.15 x3 0 1 0.3 x2 0 0.5 x1 ck 分组2 分组1 P(xk) xk 分配给消息xk的全部码元作为该消息的码字ck 1 0 分组3 111 0.05 x4 110 1 0.15 x3 10 0 1 0.3 x2 0 0 0.5 x1 ck 分组2 分组1 P(xk) xk 例2 分别对信源和二次扩展信源编费诺码并计算编码效率 (1) 信源编码并计算编码效率 第一次分组及分配二进制码元 第二次分组及分配二进制码元 分配给消息xk的全部码元作为该消息的码字ck 1 0 分组1 1 0 分组2 11 0.1 2 10 0.4 1 0 0.5 0 ck P(xk) xk (2)二次扩展信源编码并计算编码效率 第二次分组及分配二进制码元 第一次分组及分配二进制码元 第三次分组及分配二进制码元 第四次分组及分配二进制码元 异前置码——任何码字结束时即可译出 例2 左移1位 =0？ =10？ 输出0 Y 输出1 Y N N 输出2 左移2位 结束？ Y N 输入码字串 结束 3.4 渐近最优码定理 二进制异前置码的码长l1,l2,…,lNn满足不等式 反之，给定满足以上不等式的一组码长，存在相应的二进制异前置码 1、克拉夫特不等式 记二进制异前置码第k个码字的码长为lk 考虑一棵lmax级二叉满树，在第lk级共有2lk个节点 根据异前置码的定义，对第k个码字，在第lmax级被用掉或不能用的节点数为2lmax-lk 构造二进制异前置码的树图第lmax级总共被用掉或不能用的节点总数 第2级被用掉或不能用的节点总数为 0 1 0 1 0 0 1 0 1 反之，从树根出发由短及长依次按码长lk生长二叉树枝，即可构造出一颗lmax级二叉树，相应得到二进制异前置码 定理 2、渐近最优码定理 信源的熵为H(X)，对n次扩展信源进行二进制异前置码编码，对任意给定的ε 0，当n足够大，码率满足H(X)≤R H(X) +ε 3.5 香农码 编码步骤 ①将消息xk k=1,2,…,Nn按概率降序排列 ②确定第k个码字的码长 ③令P(x0)=0，计算第k-1个消息的累加概率 ④将Pa(xk)用二进制表示，取小数点后lk位作为消息xk的码字ck 编香农码并计算编码效率 例1 ①将消息xk k=1,2,3,4按概率降序排列 ②确定第k个码字的码长 ③令P(x0)=0，计算第k-1个消息的累加概率 ④将Pa(xk)用二进制表示，取小数点后lk位作为消息xk的码字ck 11110 0.95 5 0.05 x4 110 0.8 3 0.15 x3 10 0.5 2 0.3 x2 0 0 1 0.5 x1 ck Pa(xk) lk P(xk) xk 分别对信源和二次扩展信源编香农码并计算编码效率 例2 (1)信源编码并计算编码效率 110 0.8 3 0.2 2 10 0.5 2 0.3 1 0 0 1 0.5 0 ck Pa(xk) lk P(xk) xk (2)二次扩展信源编码并计算编码效率 Pa(00)=0.0=(0.00)2→c1=00 Pa(01)=0.25=(0.010)2→c2=010 Pa(10)=0.4=(0.011…)2→c3=011 Pa(02)=0.55=(0.1000…)2→c4=1000 Pa(20)=0.65=(0.1010…)2→c5=1010 Pa(11)=0.75=(0.1100)2→c6=1100 Pa(12)=0.84=(0.11010…)2→c7=11010 Pa(21)=0.9=(0.11100…)2→c8=11100 Pa(22)=0.96=(0.11101…)2→c9=11101 1010 0.65 4 0.1 20 1100 0.75 4 0.09 11 11010 0.84 5 0.06 12 11100 0.9 5 0.06 21 11101 0.96 5 0.04 22 1000 0.55 4 0.1 02 011 0.4 3 0.15 10 010 0.25 3 0.15 01 00 0 2 0.25 00 ck Pa(xk) lk P(x