第6章限失真信源编码ll.pptVIP

第六章 限失真信源编码 信息理论与编码 第6章 限失真信源编码各节内容 2种信源编码方法 信源编码的实质：对信源进行信息处理。 无失真编码与有失真编码对比 将编码器看作信道 无失真编码——无损确定信道 无失真编码的中心任务 对冗余度进行压缩 编码后熵不变，属保熵编码。 引入有失真的熵压缩编码的原因 保熵编码并非总是必需的 例：人眼无须接受信源发出的全部视觉信息 保熵编码并非总是可能 例：对连续信号进行数字处理时不可能根除量化误差 降低信息率（熵压缩编码）有利于传输和处理 说明 有失真的熵压缩编码主要针对连续信源，但其理论同样适用于离散信源。 由于离散信源处理起来比连续信源简单得多，以下将从离散信源开始有失真编码的讨论。 主要内容 6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 失真测度 将r×s个失真度排成矩阵形式: 失真度的函数形式 失真度函数的选取原则： 使用非负函数，其形式可根据实际需要而定。 例 设信源取值于{0，1}，编码器输出取值于{0，1，2}，编码器相当于一个2删除信道（BEC）。规定失真度或失真函数为 D 允许信道 信息率失真函数的定义 信息率失真函数的性质 限失真信源编码定理 符号序列的失真度 序列平均失真度与符号平均失真度之间的关系 * * 信源 信道 （信源编码器） 2种信源编码方法： 无失真编码（Haffman编码、Fano编码等） 有失真编码（本章讨论） 将编码器看作信道 有失真编码——有噪信道 有失真编码的中心任务 对信息率进行压缩 编码后的信息率得到压缩，属熵压缩编码。 有失真编码的失真范围受限，所以又称为限失真编码。 无失真编码 有失真编码 连续信源的实际熵为无穷大 对连续信源进行熵压缩编码是绝对必需的 保熵编码时需用无穷长的码元串 传输无穷长的码元串势必造成无限延时 信源 信道 （信源编码器） 编码器输入符号与输出符号之间的误差或失真： ——失真度（或失真函数）、非负实值函数 失真矩阵 误码失真： 绝对失真： 均方失真： 相对失真： 失真矩阵 r×s个失真度—— 平均失真度或平均失真 信源 信道 （信源编码器） 取统计平均 平均失真度 信源 信道 （信源编码器） 限失真编码： 对平均失真度加以限制(保真度准则 ) ！！这意味着对编码器（信道、PV|U）施加了相应的限制 （1）保真度准则 （2）D 允许信道：满足保真度准则 的信道 所有D 允许信道的转移概率组成一个集合 注： BD中任一转移概率PV|U都与一个D允许信道（编码器）对应 信源 信道 （信源编码器） 保真度准则 所有D 允许信道的转移概率组成一个集合 在BD中寻求一个（即寻求一个特定的编码器）使I（U；V）最小，这个最小的平均互信息量称为信息率失真函数，简称为率失真函数，记为，即 当最小值不存在时，可用下界值代替： 信源 信道 （信源编码器） 保真度准则 的性质： 1、 的定义域是 2、 是D的下凸函数 3、 是定义域上的非增函数 设离散无记忆平稳信源的信息率失真函数为 ，只要满足 ，当信源序列足够长时，一定存在一种编码方法，其译码失真小于或等于 ，其中是任意小的正数；反过来，若 ，则无论采用什么样的编码方法，其译码失真必大于D。 信源 信道 （信源编码器） 符号的失真度 N长输入序列 N长输出序列 N长序列的失真度 N长序列的平均失真度 信源 信道 （信源编码器） 符号的失真度 N长输入序列 N长输出序列 N长序列的失真度 符号平均失真度 序列平均失真度 当信源和信道（编码器）均无记忆时 式中 是符号平均失真度 * *