4章 信源无失真编码.pptVIP

用二元符号表 对其进行定长编码， （1）求无失真定长编码的最小码长和编码效率。 （2）将编码器的输出视为新信源X，求H(X)； （3）若所编的码为{000，001，010，011，100，101}，求编码器输出码元的一维概率P(x1)与P(x2)。 （4）H(X)和H(P(x1),P(x2))之间的大小关系？ 设DMS为 习题 无失真变长编码定理：用 元符号表对离散无记忆信源 的 长符号串进行变长编码，记 长符号串对应的平均码长为 ，那么，要做到无失真编码，平均码长 必须满足 另一方面，一定存在唯一可译码，其平均码长 满足 香农第一定理 编码效率： 变长编码方法 变长编码采用非续长码； 力求平均码长最小，此时编码效率最高，信源的冗余得到最大程度的压缩； 对给定的信源，使平均码长达到最小的编码方法称为最佳编码，编出的码称为最佳码； 三种变长编码方法：霍夫曼编码、费诺编码以及香农编码； 霍夫曼编码是真正意义下的最佳编码。 霍夫曼编码 二进制霍夫曼编码过程如下： （1）将信源符号按概率大小排序； （2）对概率最小的两个符号求其概率之和，同时给两符号分别赋予码元“0”和“1”； （3）将“概率之和”当作一个新符号的概率，与剩下符号的概率一起，形成一个缩减信源，再重复上述步骤，直到“概率之和”为1为止； （4）按上述步骤实际上构造了一个码树，从树根到端点经过的树技即为码字。 霍夫曼编码的基本特点： 编出的码是非续长码； 平均码长最小； 码字不唯一。 r进制霍夫曼编码 每次求缩减信源时，求r个最小概率之和，即将个概率最小的r符号缩减为一个新符号，直到概率之和为1终止。 新问题：缩减到最后时剩下不到r个符号了。 为保证平均码长最小，希望缩减到最后刚好还剩下r个符号。为达到此目的，可给信源添加几个无用的符号（概率为0的符号），使得信源符号数q满足: q+i=(r-1)θ+r 信源缩减的次数 增加无用符号的个数 符号 概率 码字 Wi 码长 li 0.35 1 1 0.30 01 2 0.20 001 3 0.10 0001 4 0.04 00001 5 0.005 000001 6 0.005 000000 6 2进制霍夫曼编码。 码元集：X={0，1} 码元/符号 符号 概率 码字 Wi 码长 li 0.35 11 2 0.30 10 2 0.20 01 2 0.10 001 3 0.04 0001 4 0.005 00001 5 0.005 00000 5 2进制霍夫曼编码。 码元集：X={0，1} 码元/符号 码字 Wi 码长 li 1 1 01 2 001 3 0001 4 00001 5 000001 6 000000 6 码字 Wi 码长 li 11 2 10 2 01 2 001 3 0001 4 00001 5 00000 5 码方差： 码字不同，码长也不同，但平均码长相同，因此编码效率相同。 r进制霍夫曼编码 每次求缩减信源时，求r个最小概率之和，即将概率最小的r符号缩减为一个新符号，直到概率之和为1终止。 新问题：缩减到最后时剩下不到r个符号了。 为保证平均码长最小，希望缩减到最后刚好还剩下r个符号。为达到此目的，可给信源添加几个无用的符号（概率为0的符号），使得信源符号数q满足: q+i=(r-1)θ+r 信源缩减的次数 增加无用符号的个数 符号 概率 码字 Wi 码长 li 0.32 2 1 0.22 1 1 0.18 02 2 0.16 01 2 0.08 002 3 0.04 001 3 0.00 3进制霍夫曼编码。 码元集：X={0，1，2} 码元/符号 符号串的霍夫曼编码 例：对如下DMS进行2进制霍夫曼编码，分别对单个符号和二元符号串进行编码。 bit/符号 符号 概率 码字 码长 u1 0.45 1 1 u2 0.35 01 2 u3 0.20 00 2 码元/符号 对单个符号进行编码 符号 概率 码字 码长 u1u1 0.2025 11 2 u1u2 0.1575 011 3 u2u1 0.1575 001 3 u2u2 0.1225 000 3 u1u3 0.09 101 3 u3u1 0.09 0101 4 u2u3 0.07 0100 4 u3u2 0.07 1001 4 u3u3 0.04 1000 4 码元/符号 对二元符号串进行编码 2、费诺（Fano）编码 费诺（Fano）编码也是构造一个码树，因此，编出的码是非续长码，但不一定是最佳码。 费诺编码步骤(以二进制编码为例)： （1）将信源符号按概率从大到小的排序；