6章 限失真信源编码.pptVIP

第6章 限失真信源编码 无失真编码与有失真编码对比 将编码器看作信道 无失真编码——无损确定信道 无失真编码的中心任务 对冗余度进行压缩 编码后熵不变，属保熵编码。 将编码器看作信道 有失真编码——有噪信道 有失真编码的中心任务 对信息率进行压缩 编码后的信息率得到压缩，属熵压缩编码。 有失真编码的失真范围受限，所以又称为限失真编码。 无失真编码 有失真编码 信源编码的实质：对信源进行信息处理。 信源 信道 （信源编码器） 引入有失真的熵压缩编码的原因 保熵编码并非总是必需的 例：人眼无须接受信源发出的全部视觉信息 保熵编码并非总是可能 例：对连续信号进行数字处理时不可能根除量化误差 降低信息率（熵压缩编码）有利于传输和处理 连续信源的实际熵为无穷大 对连续信源进行熵压缩编码是绝对必需的 保熵编码时需用无穷长的码元串 传输无穷长的码元串势必造成无限延时 说明 有失真的熵压缩编码主要针对连续信源，但其理论同样适用于离散信源。 由于离散信源处理起来比连续信源简单得多，以下将从离散信源开始有失真编码的讨论。 主要内容 6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结 6.1 失真测度 将r×s个失真度排成矩阵形式: 信源 信道 (信源编码器) 衡量编码器输入符号与输出符号之间的误差或失真。 ——失真度（或失真函数）、非负实值函数 失真矩阵 一般失真函数定义为 例 设信源取值于{0，1}，编码器输出取值于{0，1，2}，编码器相当于一个2删除信道（BEC）。规定失真度或失真函数为 求失真矩阵d。 解：失真矩阵为 失真度的函数形式 失真度函数的选取原则： 使用非负函数，其形式可根据实际需要而定。 误码失真： 绝对失真： 均方失真： 相对失真： 失真矩阵为： 例： 这种失真称为汉明失真 例：对称信源r=s，定义失真度为： 当r=s=3时， 失真矩阵为： r×s个失真度—— 平均失真度或平均失真 取统计平均 平均失真度 信源 信道 (信源编码器) 符号序列的失真度 符号的失真度 N长输入序列 N长输出序列 N长序列的失真度 N长序列的平均失真度 信源 信道 (信源编码器) 符号平均失真度 当信源和信道（编码器）均无记忆时 式中 是符号平均失真度 连续信源的平均失真度 连续随机变量的平均失真度 离散随机变量的平均失真度 D 允许信道 限失真编码： 对平均失真度加以限制(保真度准则 ) ！！这意味着对编码器（信道、PV|U）施加了相应的限制 （1）保真度准则 （2）D 允许信道：满足保真度准则 的信道 所有D 允许信道的转移概率组成一个集合 注：BD中任一转移概率PV|U都与一个D允许信道（编码器）对应。 信源 信道 (信源编码器) 信息率失真函数的定义 信源 信道 （信源编码器） 保真度准则 所有D 允许信道的转移概率组成一个集合 在BD中寻求一个PV|U（即寻求一个特定的编码器）使I(U;V)最小，这个最小的平均互信息量称为信息率失真函数，简称为率失真函数，记为R(D)，即 当最小值不存在时，可用下界值代替： 1) R(D)的定义域是 (1) 和 允许失真度D的最小值为0，即不允许有失真，这时编码器相当于无噪信道。 R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵。 信息率失真函数的性质 (2) 平均失真度变为： 因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只能为0，此时，发送与接收统计独立，即： 所以， 就是在R(D)=0的情况下， 的最小值 R(D)的值域是 信息率失真函数的性质 1、 的定义域是 2、 是D的下凸函数 3、 是定义域上的非增函数 R(D) D H(U) Dmax 0 例 设信源X，符号集为 ，等概分布 给定失真测度为 设计一种单符号压缩算法使得平均失真D=1/2，并求压缩后的信息传输率R. 限失真信源编码定理 说明： 设离散无记忆平稳信源的信息率失真函数为 ，只要满足 ，当信源序列足够长时，一定存在一种编码方法，其译码失真小于或等于 ，其中 是任意小的正数；反过来，若 ，则无论采用什么样的编码方法，其译码失真必大于D。 香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在以下两方面的问题： 1、符合实际信源的R(D)函数的计算相当困难。 1）需要对实际信源的统计特性有确切的描