第二分3.pptVIP

* 信 息 论 二、信源及信源编码 2.4 限失真信源编码（熵压缩编码） 主要内容 §7.1 失真测度 §7.2 信息率失真函数 §7.3 限失真信源编码定理和逆定理 §7.4 信息率失真函数的计算 引入： 1、香农第一、二定理指出，R C，可以实现无失真信息传输(传输差错任意小)，反之不行； 2、实际上不需要也不可能完全无失真，在保证一定质量(保真度准则：不需要译码的熵压缩编码，不可逆)下允许信源存在一定的失真； 3、本章主要研究内容：给定信源的熵，在允许失真条件下，信源熵所能压缩的极限理论值？如何计算？ 4、采用了研究信道的方法，即将信源压缩过程看成通过一个信道，寻找保真度准则下的最小平均互信息 即：信息率失真函数 二、信源及信源编码 释： 1、无失真信源编码主要针对离散信源，限失真信源编码主要针对连续信源(连续信源绝对熵无限大：必须压缩后才能传输)； 2、限失真信源编码也适用于离散信源； 3、限失真信源编码可看成一种数学变换，编码过程看成从一个集合到另一个集合的变换，称为试验信道； 4、连续信源限失真信源编码方法主要包括分组熵压缩(标量量化，矢量量化，变换编码等)和非分组熵压缩(预测编码等)。 二、信源及信源编码 一、离散信源信息率失真函数 典型离散信源的信息率失真函数R(D)曲线如图 R(D) D 0 Dmax H(X) D* R(D*) ①、R(D)是非负函数，定义域为[0，Dmax]，值域为[0，H(X)]， 当D Dmax时，R(D) = 0 ②、R(D)是关于D的下凸函数； ③、定义域内R(D)是D的严格递减函数。 二、信源及信源编码 二、时间离散的连续信源信息率失真函数 二、信源及信源编码 1、平均失真 设时间离散的连续信源X的概率密度为p(x)，失真函数为d(x,y)，试验信道为p(y|x)，则平均失真为 释： X，Y独立时的最小平均失真定义为平均失真最大值 2、信息率失真函数 二、信源及信源编码 设满足保真度准则的试验信道集合为 则信息率失真函数定义为 3、时间离散的连续信源信息率失真函数的性质 二、信源及信源编码 (1) 非负性 (2) 在 区间是单调递减函数； (3) 在 区间是下凸函数； (4) 当 时 (连续信源绝对熵)。 释： (1) 离散信源熵是率失真函数的上界； (2) 连续信源相对熵不是率失真函数的上界。 4、时间离散的连续信源信息率失真函数的参量表达式 二、信源及信源编码 离散信源信息率失真函数的参量表达式 二、信源及信源编码 5、平方误差测度下时间离散高斯信源率失真函数 二、信源及信源编码 时间离散高斯信源X的概率密度为 在失真函数 下的信息率失真函数为 Bits/每自由度 6、平方误差测度下独立并联高斯信源率失真函数 二、信源及信源编码 求在失真函数 下的信息率失真函数。 由N个均值为零，方差为 的相互独立高斯信源构成的矢量 称为独立并联高斯信源，其中Xi的概率密度为 二、信源及信源编码 N维独立并联高斯信源的失真函数为 并联信源的平均失真为 其中， 是并联信源平均失真 下第i个独立高斯信源分配到的平均失真。 并联信源的信息 率失真函数为 因为 是相互独立的，所以有 所以 当 时等号成立。 释：给定并联信源的平均失真 D ，计算第i 个信源应分配的平均失真Di ，进而计算第i 个信源的失真函数 ，最后求和平均得到并联信源的失真函数 二、信源及信源编码 第i 个高斯信源平均失真分配过程如下： 二、信源及信源编码 第i 个高斯信源 的失真函数 令 由 得到分配的平均失真 。 二、信源及信源编码 n 1 2 3 N-1 N i-1 i+1 i 第i 个高斯信源分配的平均失真（倒注水原理）为 二、信源及信源编码 特例：方差相同 的独立并联高斯信源的信息率失真函数。 信源平均功率： 信源平均失真： 所以信息率失真函