无失真信源编码的相关定理.pptVIP

符号 概率 码字 Wi 码长 li 0.32 2 1 0.22 1 2 0.18 02 2 0.16 01 2 0.08 002 3 0.04 001 3 0.00 3进制霍夫曼编码。 码元集：X={0，1，2} bit/符号 无失真信源编码的相关定理 符号串的霍夫曼编码 例：对如下DMS进行2进制霍夫曼编码，分别对单个符号和二元符号串进行编码。 bit/符号 符号 概率 码字 码长 u1 0.45 1 1 u2 0.35 01 2 u3 0.20 00 2 码元/符号 对单个符号进行编码 无失真信源编码的相关定理 符号 概率 码字 码长 u1u1 0.2025 11 2 u1u2 0.1575 011 3 u2u1 0.1575 001 3 u2u2 0.1225 000 3 u1u3 0.09 101 3 u3u1 0.09 0101 4 u2u3 0.07 0100 4 u3u2 0.07 1001 4 u3u3 0.04 1000 4 码元/符号 对二元符号串进行编码 无失真信源编码的相关定理 2 、费诺（Fano）编码 费诺（Fano）编码也是构造一个码树，因此，编出的码是非续长码，但不一定是最佳码。 费诺编码步骤(以二进制编码为例)： （1）将信源符号按概率从大到小的排序； （2）将信源符号分成2组，使2组信源符号的概率之和近似相等，并给2组信源符号分别赋码元“0”和“1”； （3）接下来再把各小组的信源符号细分为2组并赋码元，方法与第一次分组相同； （4）如此一直进行下去，直到每一小组只含一个信源符号为止； （5）由此即可构造一个码树，所有终端节点上的码字组成费诺码。 无失真信源编码的相关定理 符号ui 概率 P(u1) 码字 Wi 码长 li u1 0.20 00 2 u2 0.19 010 3 u3 0.18 011 3 u4 0.17 10 2 u5 0.15 110 3 u6 0.10 1110 4 u7 0.01 1111 4 2进制费诺编码。 码元集：X={0，1} 码元/符号 bit/符号 无失真信源编码的相关定理 概率大，则分解的次数少；概率小, 则分解的次数多。这符合最佳编码原则。 码字集合是唯一的。 分解完了，码字出来了，码长也有了。 因此，费诺编码方法又称为子集分解法。 费诺编码方法比较适合于每次分组概率都很接近的信源，特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率。 费诺编码特点 无失真信源编码的相关定理 3、香农编码 设离散无记忆信源 二进制香农码的编码步骤如下： 将信源符号按概率从大到小的顺序排列，为方便起见，令 p(x1)≥ p(x2)≥…≥ p(xn) 令p(x0)=0，用pa(xj)，j=i+1表示第i个码字的累加概率，则 无失真信源编码的相关定理 3、香农编码 确定满足下列不等式的整数ki ，并令ki为第i个码字的长度 －log2 p(xi)≤ki1－ log2 p(xi) 将pa(xj) 用二进制表示，并取小数点后ki 位作为符号xi的编码。 无失真信源编码的相关定理 1. 某信源具有7个消息符号，其概率分别为：。欲对其进行香农方法的二进制编码，求其二进制代码组及其编码效率。 　 解：先计算每一个码字的码长，分别为：3, 3, 3, 3, 3, 4, 7；再计算累加概率。 例如：P4 = p1 + p2 + p3，变换成二进制数为：···，因为b4 =3，故对于概率为的消息符号x4，其编码为100。 依此类推，与本题有关的数据和编码结果列于下表。 例题 无失真信源编码的相关定理 无失真信源编码的相关定理 无失真信源编码的相关定理 无失真信源编码的相关定理 5.1 信源编码概论--基本概念 噪声 信道 信源 编码 信源 信宿 等效无噪信道 信源 译码 信道 编码 信道 译码 传输之前的两次变换：信源编码、信道编码。传输之后的两次反变换，变换与反变换是成对出现的。 讨论无失真信源编码可以先不考虑抗干扰问题，因此，图中虚框部分可近似地视为一个等效的无噪信道，这一点是我们讨论信源编码的前提。 1、基本概念 无失真信源编码的相关定理 信源编码分类：无失真编码、有失真编码。 无失真编码：只对信源的冗余度进行压缩，不会改变信源的熵，又称冗余度压缩编码，它能保证码元序列经译码后能无失真地恢复成信源符号序列。 有失真编码：又称熵压缩编码，将在第7章讨论。 无失真信源编码的作用： （1）符号变换：使信源的输出符号与信道的输入符号相匹配； （2）冗余度压缩：使编码之后的新信源概率分布均匀化，信息含量效率等于或接近于100%。 5.1 信源编码概论--基本概念 无失真信源编码的相关定理 5.1 信源编码概论----编码器模型 码C 码字