信息论与编码第七章.ppt

信息率失真函数的性质 1、R(D)是非负的实数, R(D)≥0。 其定义域为0～Dmax , 其值为0～H(X)。 当D＞Dmax时,R(D)≡0 2、R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的U型下凸函数 3、R(D)的单调递减性及连续性 容许的失真度越大，所要求的信息率越小。反之亦然。 离散信源R(D)计算 给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。 它是在保真度准则下求极小值的问题。 但要得到它的显式表达式,一般比较困难通常用参量表达式。 即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。 7.3 限失真信源编码定理和逆定理 定理7.1 限失真信源编码定理 设离散n长序列无记忆信源为 单字符失真函数为 ，给定单字符失真度下的信息率失真函数 ，对任意 和 ，可以找到满足保真度准则 的允许码 ，当n足够大时，其速率R为 7.3.1 限失真信源编码定理 码字数目 为： 7.3.2 限失真信源编码逆定理 定理7.2 限失真信源编码逆定理 设离散n长序列无记忆信源为 单字符失真函数为 ，给定单字符失真度下的信息率失真函数 ，则所有满足保真度准则D的信源码的速率都不小于 即 7.4 信息率失真函数的计算 已知信源的概率分布 和失真函数 ，就可以确定信源的信息率失真函数 ,它是在约束条件，即保真度准则下，求极小值问题，一般情况下难于求的闭式解，常采用参量表示法，或采用迭代算法求解。 第7章 限失真信源编码 7.4 信息率失真函数的计算 7.2 信息失真函数 7.3 限失真信源编码定理和逆定理 7.1 失真测度 如果RC，在任意信道上都不可能实现错误译码概率无线小的无失真传输；或者说要实现错误译码概率任意小，在任何信道上传输都必然产生失真。 在信道传输信息时，通常并不需要完全无失真。 信宿对真实度的要求： 实际语音信号：20Hz～8KHz 人耳能够分辨：300Hz～3400Hz 图象色差：可达足够多 视觉分辨：256级（黑白）已足够 所以实际生活当中，通常总是要保证在一定质量的前提下在信宿近似地再现信源输出的信息，或者说在保真度准则下允许信源输出存在一定的失真。 失真如何度量？ 率失真函数如何计算？ 限失真的信源编码问题 允许一定的失真度下，能将信源信息压缩到什么程度？（最少需要多少比特才能在收端描述信源？） 7.1 失真测度 7.1.1 失真函数 失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。 假设离散信号源为 = 经过信道传输后的输出序列为Y= xi ≠ yj 产生失真 xi ＝ yj 没有失真 将所有的d(xi,yj)排列起来,用矩阵表示为: 失真函数d(xi,yj)：描述了某个信源符号通过传输后失真的大小。 失真函数的定义为： = 【例7.1】 设信源符号序列为X={0,1},接收端收到符号序列为Y= {0,1,2},规定失真函数为 ＝ ＝0 ＝ ＝1 ＝ ＝0.5 求失真序列 解：由失真矩阵得 = = 失真函数形式可以根据需要任意选取,最常用的有: 均方失真: 绝对失真: 相对失真: 误码失真: 适于连续信源 适于离散信源 假设离散矢量N长符号序列为 经信道传输后，接收端收到的N长符号序列为 则失真函数定义为 失真函数的定义可以推广到矢量传输的情况， X= Y= 【例 7. 2】假定离散矢量信源N=3，输出矢量序列为 ,其中 ， 的取值为 ；经信道传输后的输出为 ，其中 ， 的取值为 。定义失真函数为 求矢量失真矩阵 解：由矢量失真函数的定义得 类似的可以得到其他元素数值，矢量矩阵为 7.1.2平均失真 假定离散信源为 经信道传输后输出序列为 失真矩阵为 和 都是随机变量,所以失真函数 也是随机变量,限失真时的失真值只能用数学期 望表示将失真函数的数学期望称为平均失真： 描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真。 假设离散矢量N长符号序列 经信道传输后，接收端收到的N长符号序列为 Y=[Y1,Y2,Y3,…,YN] X=[X1,X2,X3,…,XN] 则平均失真度为 平均失真是对给定信源分布 在给定转移概率分布 为的信道中传输时的失真总体量度。