信息率失真函数.pptx

第4章：信息率失真函数;离散无失真信源编码定理;变长编码定理

若一离散无记忆信源符号熵为H(X)，对信源符号进行m元变长编码，一定存在一个无失真编码方法，其码字平均长度满足以下不等式

;信道编码定理：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送信息率RC，总能够找到一个编码，当L足够长时，译码差错概率Peε，ε为任意大于零正数。反之，当RC时，任何编码Pe必大于零，当L→∞，Pe→1。

信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码存在性定理。它指出信道容量是一个临界值，只要信息传输率不超出这个临界值，信道就可几乎无失真地把信息传送过去，不然就会产生失真。;实际通信系统允许一定失真存在,有时也没必要要求完全无失真传输。;所以,在实际通信系统中,在保真度准则下,允许信源输出有一定失真存在。也就是说,允许压缩信源输出信息率.;1、失真函数;信源;失真函数用来表征信源发出一个符号ai，而在接收端再现成符号bj所引发误差或失真。d越小表示失真越小，等于0表示没有失真。

能够将全部失真函数排列成矩阵形式：;a1;1;2;【例】绝对值误差失真测度

信源输出符号X={0,1,2}，信道输出符号Y={0,1,2}，给出失真测度

dij=︱xi-yj︱i,j=0,1,2

则失真测度矩阵为

;因为ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时失真值，只能用它数学期望或统计平均值，所以将失真函数数学期望称为平均失真度，记为?

;若平均失真度小于我们所允许失真D(预先给定某一限定值)，我们称此为保真度准则。;N次扩展信道平均失真度：;输出;;由信源和信道无记忆性;;例:设信源X取值于{0,1},失真函数数分别为d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1.其N=3次扩展信源输入X=X1X2X3,经信道传导输后,输出为Y=Y1Y2Y3,求失真矩阵[D(N)].;信源编码器;信源编码器目标是使编码后所需信息传输率R尽可能小，然而R越小，引发平均失真就越大。给出一个失真限制值D，在满足平均失真?D条件下，选择一个编码方法使信息率R尽可能小。信息率R就是所需输出相关信源X信息量。将此问题对应到信道，即为接收端Y需要取得相关X信息量，也就是互信息I(X;Y)。这么，选择信源编码方法问题就变成了选择假想信道问题，符号转移概率p(bj/ai)就对应信道转移概率。;;2、信息率失真函数R(D);R(D)物理意义：

对于给定信源，在满足保真度准则下，必须传送最小信息量,它既反应了用户容忍程度,也反应了信息率允许压缩最小值,R(D)越大,越难压缩,反之可压缩率就大.;N次无记忆扩展信源和信道：;D;定义域：;此时可了解为信道完全中止（信源与信宿无关），那么有：;能够得到计算Dmax公式:

j=1,2,…,m;下凸性;;;定义新试验信道：;由对下凸性：;连续和单调递减性;§4.2离散信源信息率失真函数;§4.2.1离散信源信息率失真函数参量表示式

求解方法与求解普通信道容量方法一样，是求在约束条件下，条件极值问题，可用拉格朗日乘子法。;;其中：;;令;;;两边乘以对求和;§4.2.2二元信源率失真函数;用求Dmax方法,先求：;;;;;由(4.2.29)可解出显示;由(4.2.30)和令

可计算得;;§4.3连续信源信息率是真函数

§4.3.1连续信源失真函数参量表示式

;定义;下确界;;§4.3.2高斯信源率失真函数;;(条件方差);;依据连续条件熵定义，有：;依据詹森不等式：;;;高斯信源率失真函数;§4.3.3信息价值;合格品出厂：;不经检验全部出厂：;检验完全正确：;检验不十分可靠：;结论:有误差检验比无误差检验信息价值要高,即确定性问题比随机问题能提供信息少.;;C;4.4.1限失真信源编码定理

对于无失真信源编码来说，在允许一定失真情况下，信源输出信息率最少可降低到信息率失真函数R(D)，有可能是多个信源符号（符号序列）对应一个码字（码字序列）。失真信源编码定理就是关于信息率和失真关系一个极限定理，也称香