第4章信源无失真编码浅析.ppt

信源的主要问题： 信源的描述（数学建模）； 信源输出信息能力的定量分析（信源熵）； 信源信息的有效表示（信源编码）。 单符号信源无失真编码器模型 举例：下雨天留客天留我不留 唯一可译码（UDC）：该码的码字组成的任意有限长码字序列都能恢复成唯一的信源序列。否则称为非唯一可译码。 码是唯一可译码的充分必要条件是：由码中的码字组成的任意有限长的码字序列（也是码元序列），都能唯一划分成一个个的码字，且任一码字只与唯一一个信源符号对应。 奇异码：含相同码字的码。否则称为非奇异码。 非续长码：码中任一码字都不是另一码字的续长（延长）。否则为续长码。 非即时码：如果接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码。否则为即时码。 r进制霍夫曼编码 每次求缩减信源时，求r个最小概率之和，即将个概率最小的r符号缩减为一个新符号，直到概率之和为1终止。 新问题：缩减到最后时剩下不到r个符号了。 为保证平均码长最小，希望缩减到最后刚好还剩下r个符号。为达到此目的，可给信源添加几个无用的符号（概率为0的符号），使得信源符号数q满足: q+i=(r-1)θ+r 信源缩减的次数 增加无用符号的个数 费诺（Fano）编码 费诺（Fano）编码也是构造一个码树，因此，编出的码是非续长码，但不一定是最佳码。 费诺编码步骤(以二进制编码为例)： （1）将信源符号按概率从大到小的排序； （2）将信源符号分成2组，使2组信源符号的概率之和近似相等，并给2组信源符号分别赋码元“0”和“1”； （3）接下来再把各小组的信源符号细分为2组并赋码元，方法与第一次分组相同； （4）如此一直进行下去，直到每一小组只含一个信源符号为止； （5）由此即可构造一个码树，所有终端节点上的码字组成费诺码。 香农编码 香农（Shannon）编码步骤(以二进制编码为例)： （1）将信源符号按概率从大到小的排序； （2）按下式求i个信源符号对应的码长li，并取整； （3）按下式求i个信源符号的累加概率Pi； （4）将累加概率Pi转换成二进制数； （5）取Pi二进制数小数点后li个二进制数字作为第i个信源符号的码字。 定长编码定理 DMS 编码器 f r进制定长编码，码长为lN，可用的码字数目： 唯一可译 信息传输率 编码效率 bit/码元 用二元符号表 对其进行定长编码， （1）求无失真定长编码的最小码长和编码效率。 （2）将编码器的输出视为新信源X，求H(X)； （3）若所编的码为{000，001，010，011，100，101}，求编码器输出码元的一维概率P(x1)与P(x2)。 （4）H(X)和H(P(x1),P(x2))之间的大小关系？ 设DMS为 习题 无失真变长编码定理：用 元符号表对离散无记忆信源 的 长符号串进行变长编码，记 长符号串对应的平均码长为 ，那么，要做到无失真编码，平均码长 必须满足 另一方面，一定存在唯一可译码，其平均码长 满足 香农第一定理 编码效率： 变长编码方法 变长编码采用非续长码； 力求平均码长最小，此时编码效率最高，信源的冗余得到最大程度的压缩； 对给定的信源，使平均码长达到最小的编码方法称为最佳编码，编出的码称为最佳码； 三种变长编码方法：霍夫曼编码、费诺编码以及香农编码； 霍夫曼编码是真正意义下的最佳编码。 霍夫曼编码 二进制霍夫曼编码过程如下： （1）将信源符号按概率大小排序； （2）对概率最小的两个符号求其概率之和，同时给两符号分别赋予码元“0”和“1”； （3）将“概率之和”当作一个新符号的概率，与剩下符号的概率一起，形成一个缩减信源，再重复上述步骤，直到“概率之和”为1为止； （4）按上述步骤实际上构造了一个码树，从树根到端点经过的树技即为码字。 霍夫曼编码的基本特点： 编出的码是非续长码； 平均码长最小； 码字不唯一。 r进制霍夫曼编码 每次求缩减信源时，求r个最小概率之和，即将个概率最小的r符号缩减为一个新符号，直到概率之和为1终止。 新问题：缩减到最后时剩下不到r个符号了。 为保证平均码长最小，希望缩减到最后刚好还剩下r个符号。为达到此目的，可给信源添加几个无用的符号（概率为0的符号），使得信源符号数q满足: q+i=(r-1)θ+r 信源缩减的次数 增加无用符号的个数 1、霍夫曼编码 二进制霍夫曼编码过程如下： （1）将信源符号按概率大小排序； （2）对概率最小的两个符号求其概率之和，同时给两符号分别赋予码元“0”和“1”； （3）将“概率之和”当作一个新符号的概率，与剩下符号的概率一起，形成一